大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測中的應(yīng)用

周淵?！堊?/p>

摘 要：大數(shù)據(jù)技術(shù)的關(guān)鍵技術(shù)包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)集成、深入挖掘及可視化等，可為環(huán)境監(jiān)測提供技術(shù)輔助，實(shí)現(xiàn)綜合預(yù)警與科學(xué)決策。基于此，文章對大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測中的應(yīng)用進(jìn)行深入分析，探究大數(shù)據(jù)技術(shù)的應(yīng)用內(nèi)容與流程，結(jié)合環(huán)境監(jiān)測案例，總結(jié)大數(shù)據(jù)技術(shù)應(yīng)用要點(diǎn)，保障其優(yōu)勢有效發(fā)揮。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);環(huán)境監(jiān)測;生態(tài)環(huán)境

在新時(shí)期背景下，環(huán)境監(jiān)測工作越來越復(fù)雜，不僅要考慮環(huán)境參數(shù)，還需分析環(huán)境與人、與經(jīng)濟(jì)的關(guān)系，實(shí)施多元協(xié)同治理。傳統(tǒng)環(huán)境監(jiān)測數(shù)據(jù)處理存在數(shù)據(jù)不全面、指標(biāo)不準(zhǔn)確、歷史數(shù)據(jù)遺失等問題，難以為環(huán)境決策提供幫助。大數(shù)據(jù)技術(shù)的出現(xiàn)妥善解決了上述問題，因此需在環(huán)境監(jiān)測中合理應(yīng)用大數(shù)據(jù)技術(shù)。

1 大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測中的應(yīng)用方式

1.1 支持環(huán)境監(jiān)測數(shù)據(jù)的采集

在環(huán)境監(jiān)測數(shù)據(jù)采集中，大數(shù)據(jù)技術(shù)的應(yīng)用可實(shí)現(xiàn)數(shù)據(jù)的分類采集，根據(jù)環(huán)境監(jiān)測數(shù)據(jù)的內(nèi)容或生命周期進(jìn)行全面采集，為后續(xù)數(shù)據(jù)集成與分析提供便利。

1.1.1 內(nèi)容分類

在環(huán)境監(jiān)測工作中，大數(shù)據(jù)來源有兩類，分別是監(jiān)測部門產(chǎn)生的數(shù)據(jù)與外部人群活動(dòng)產(chǎn)生的數(shù)據(jù)，前者包括生態(tài)環(huán)境數(shù)據(jù)與污染源排放數(shù)據(jù)，數(shù)據(jù)的周期約四十年，主要為結(jié)構(gòu)化數(shù)據(jù);后者包括人與環(huán)境相關(guān)的數(shù)據(jù)，數(shù)據(jù)時(shí)間跨度不等，主要為非結(jié)構(gòu)化數(shù)據(jù)。基于上述來源，大數(shù)據(jù)可根據(jù)如下分類，實(shí)現(xiàn)環(huán)境監(jiān)測數(shù)據(jù)的有效采集。第一，生態(tài)環(huán)境監(jiān)測數(shù)據(jù)，包括生態(tài)環(huán)境監(jiān)測的各項(xiàng)數(shù)據(jù)，如大氣數(shù)據(jù)、土壤數(shù)據(jù)、噪聲數(shù)據(jù)及水質(zhì)參數(shù)等，監(jiān)測范圍包括生態(tài)環(huán)境監(jiān)測點(diǎn)、水源保護(hù)區(qū)及自然生態(tài)保護(hù)區(qū)等，為覆蓋全國的環(huán)境質(zhì)量監(jiān)測網(wǎng)監(jiān)測數(shù)據(jù)，可體現(xiàn)各地區(qū)及我國整體生態(tài)環(huán)境狀況。第二，污染源排放數(shù)據(jù)，包括各個(gè)污染源所在點(diǎn)位的監(jiān)測數(shù)據(jù)，如廢氣數(shù)據(jù)、廢水?dāng)?shù)據(jù)及固廢數(shù)據(jù)等，涉及污染源監(jiān)測、污染治理設(shè)施運(yùn)行及監(jiān)察執(zhí)法等工作。第三，人與環(huán)境相關(guān)數(shù)據(jù)，包括基礎(chǔ)氣象數(shù)據(jù)、生活垃圾數(shù)據(jù)、地理國情數(shù)據(jù)等，來自于各地區(qū)統(tǒng)計(jì)年鑒或網(wǎng)絡(luò)媒體公布數(shù)據(jù)。

1.1.2 生命周期分類

按照生命周期，可將環(huán)境監(jiān)測數(shù)據(jù)劃分為冷數(shù)據(jù)、溫?cái)?shù)據(jù)和熱數(shù)據(jù)三類。冷數(shù)據(jù)是指采集的未處理數(shù)據(jù)或歷史歸檔數(shù)據(jù)，通常以污染源排放數(shù)據(jù)或生態(tài)環(huán)境監(jiān)測數(shù)據(jù)為主，可用大容量硬盤存儲(chǔ);溫?cái)?shù)據(jù)是指通過分析形成報(bào)表的環(huán)境監(jiān)測數(shù)據(jù)，支持歷史查詢，如環(huán)境質(zhì)量日報(bào)、月報(bào)與統(tǒng)計(jì)年鑒信息等;熱數(shù)據(jù)是指當(dāng)期使用數(shù)據(jù)，包括深入挖掘后入庫的數(shù)據(jù)或部分原始數(shù)據(jù)，如實(shí)時(shí)發(fā)布的在線監(jiān)測數(shù)據(jù)，需配置高速硬盤，方可保障數(shù)據(jù)的有效應(yīng)用[1]。

1.2 支持環(huán)境監(jiān)測數(shù)據(jù)的集成

在分類收集環(huán)境監(jiān)測數(shù)據(jù)的基礎(chǔ)上，大數(shù)據(jù)技術(shù)可實(shí)現(xiàn)環(huán)境監(jiān)測數(shù)據(jù)的全面集成，將異常數(shù)據(jù)全部剔除，提高環(huán)境監(jiān)測數(shù)據(jù)質(zhì)量。細(xì)化來說，環(huán)境監(jiān)測數(shù)據(jù)的集成包括抽取、分發(fā)、清洗、轉(zhuǎn)換與裝載等步驟，并將處理后的數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫中，便于后續(xù)分析。在上述環(huán)境監(jiān)測數(shù)據(jù)集成中，大數(shù)據(jù)技術(shù)的應(yīng)用要點(diǎn)如下：第一，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)轉(zhuǎn)換是指對采集到的不同類型與格式的數(shù)據(jù)進(jìn)行統(tǒng)一轉(zhuǎn)換，使其符合數(shù)據(jù)深入挖掘要求。通常來說，環(huán)境監(jiān)測數(shù)據(jù)間的差異體現(xiàn)在編碼方面，監(jiān)測人員可通過數(shù)據(jù)轉(zhuǎn)換方式，使其格式編碼保持一致。第二，數(shù)據(jù)補(bǔ)采，數(shù)據(jù)補(bǔ)采是指補(bǔ)充采集數(shù)據(jù)，使環(huán)境監(jiān)測數(shù)據(jù)更為全面。在環(huán)境監(jiān)測數(shù)據(jù)出現(xiàn)中斷或數(shù)據(jù)不完整現(xiàn)象時(shí)，即可進(jìn)行補(bǔ)采，具體補(bǔ)采原則由數(shù)據(jù)類型決定。第三，數(shù)據(jù)清洗，在采集的環(huán)境監(jiān)測數(shù)據(jù)中，存在不符合實(shí)際情況或不規(guī)則的數(shù)據(jù)，稱之為“臟數(shù)據(jù)”，需進(jìn)行數(shù)據(jù)清洗，即將其從數(shù)據(jù)庫中剔除，避免“臟數(shù)據(jù)”影響后續(xù)處理結(jié)果。在“臟數(shù)據(jù)”清洗中，技術(shù)人員需根據(jù)環(huán)境監(jiān)測與分析需求，制定合理且詳細(xì)的清洗規(guī)則，確保所有“臟數(shù)據(jù)”被清洗，避免正常數(shù)據(jù)被誤清洗。常用的清洗規(guī)則有取值范圍、拼寫檢查等。第四，采集監(jiān)控，在數(shù)據(jù)采集與集成的過程中，需進(jìn)行采集監(jiān)控，對大數(shù)據(jù)平臺(tái)分布的采集、轉(zhuǎn)換及加載等任務(wù)進(jìn)行監(jiān)督管理，如監(jiān)測加載任務(wù)狀態(tài)、啟停各項(xiàng)任務(wù)等，保障大數(shù)據(jù)平臺(tái)的規(guī)范有序進(jìn)行，實(shí)現(xiàn)環(huán)境監(jiān)測數(shù)據(jù)的智能化處理[2]。

1.3 支持環(huán)境監(jiān)測數(shù)據(jù)的分析

在環(huán)境監(jiān)測工作中，大數(shù)據(jù)技術(shù)可實(shí)現(xiàn)監(jiān)測數(shù)據(jù)的深入挖掘與分析，技術(shù)人員可根據(jù)環(huán)境監(jiān)測需求，在大數(shù)據(jù)平臺(tái)設(shè)定計(jì)算處理程序，根據(jù)集成的數(shù)據(jù)內(nèi)容，進(jìn)行批量處理，處理流程為數(shù)據(jù)建?！鷶?shù)據(jù)計(jì)算→數(shù)據(jù)分析，分析技術(shù)包括關(guān)聯(lián)分析、預(yù)測分析、聚類分析、概念描述及偏差檢測等，為監(jiān)測人員提供全面的數(shù)據(jù)參考，協(xié)助環(huán)境決策。例如，在大氣、土壤及水體環(huán)境質(zhì)量連續(xù)監(jiān)測工作中，技術(shù)人員在大數(shù)據(jù)平臺(tái)設(shè)置預(yù)測模型，可根據(jù)集成的數(shù)據(jù)內(nèi)容，對未來環(huán)境數(shù)據(jù)進(jìn)行預(yù)測，用作環(huán)境容量核定、產(chǎn)業(yè)結(jié)構(gòu)布局及資源開發(fā)利用的決策參考資料，使城市開發(fā)滿足保護(hù)生態(tài)環(huán)境的要求;在企業(yè)污染物監(jiān)控中，技術(shù)人員可將大數(shù)據(jù)平臺(tái)設(shè)置生產(chǎn)排污工況監(jiān)控功能，全面采集企業(yè)生產(chǎn)、排放、銷售等過程，為環(huán)境執(zhí)法提供幫助。

2 大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測中的應(yīng)用案例

為明確大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測中的應(yīng)用要點(diǎn)，本文將以某流域水環(huán)境監(jiān)測工作為例，深入探究大數(shù)據(jù)技術(shù)在數(shù)據(jù)采集、數(shù)據(jù)集成與數(shù)據(jù)分析方面的應(yīng)用，為環(huán)境監(jiān)測人員合理利用大數(shù)據(jù)技術(shù)提供成功經(jīng)驗(yàn)參考。

2.1 應(yīng)用內(nèi)容

根據(jù)大數(shù)據(jù)技術(shù)的應(yīng)用方式，環(huán)境監(jiān)測部門與軟件企業(yè)合作，共同構(gòu)建水環(huán)境監(jiān)測網(wǎng)絡(luò)與大數(shù)據(jù)平臺(tái)，包括數(shù)據(jù)采集、數(shù)據(jù)集成與數(shù)據(jù)分析三個(gè)模塊。

在數(shù)據(jù)采集模塊中，整合自動(dòng)監(jiān)測站與人工監(jiān)測數(shù)據(jù)，采集流域的湖體、河道、地表水、飲用水及重點(diǎn)污染源等相關(guān)數(shù)據(jù)，實(shí)現(xiàn)流域水環(huán)境的全面監(jiān)測。依托于大數(shù)據(jù)技術(shù)，構(gòu)建水環(huán)境監(jiān)測數(shù)據(jù)庫，數(shù)據(jù)內(nèi)容包括自動(dòng)監(jiān)測與人工監(jiān)測兩類，實(shí)現(xiàn)數(shù)據(jù)共享。在數(shù)據(jù)集成模塊中，技術(shù)人員根據(jù)水環(huán)境監(jiān)測數(shù)據(jù)應(yīng)用需求，在大數(shù)據(jù)平臺(tái)中設(shè)置數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)補(bǔ)采、數(shù)據(jù)清洗、數(shù)據(jù)裝載與采集監(jiān)控等功能，對采集的水環(huán)境監(jiān)測數(shù)據(jù)進(jìn)行初步處理，確保其符合數(shù)據(jù)深入挖掘要求，保障數(shù)據(jù)分析的有效性。在數(shù)據(jù)分析模塊中，技術(shù)人員根據(jù)水環(huán)境監(jiān)測數(shù)據(jù)分析服務(wù)需求，設(shè)置數(shù)據(jù)挖掘功能、模型功能與報(bào)表中心功能，切實(shí)發(fā)揮大數(shù)據(jù)技術(shù)優(yōu)勢，為水環(huán)境管理決策提供幫助。

其中，數(shù)據(jù)挖掘功能是指根據(jù)水環(huán)境相關(guān)的質(zhì)量數(shù)據(jù)、水文數(shù)據(jù)與氣象數(shù)據(jù)，構(gòu)建數(shù)學(xué)模型，評估數(shù)據(jù)變化規(guī)律，總結(jié)水質(zhì)變化原因，為當(dāng)?shù)卣块T制定政策提供參考;模型功能是指構(gòu)建水環(huán)境模型服務(wù)平臺(tái)，配置多個(gè)環(huán)境專業(yè)模型，為流域日常管理提供支持;報(bào)表中心功能是指對數(shù)據(jù)進(jìn)行可視化處理，更為直觀地呈現(xiàn)數(shù)據(jù)變化規(guī)律，為水環(huán)境管理決策提供幫助，主要包括以下內(nèi)容：①水質(zhì)報(bào)表，包括湖水、地表水、飲用水等，可統(tǒng)計(jì)最新水質(zhì)達(dá)標(biāo)狀況、水質(zhì)級(jí)別及歷年水質(zhì)對比等;②河流報(bào)表，統(tǒng)計(jì)河流監(jiān)測數(shù)據(jù)、綜合污染指數(shù)及空間變化數(shù)據(jù)等;③水源地報(bào)表，統(tǒng)計(jì)水源地監(jiān)測數(shù)據(jù)與空間變化數(shù)據(jù)等，便于分析水源地質(zhì)量;④湖庫質(zhì)量，包括湖庫檢測數(shù)據(jù)、空間變化數(shù)據(jù)等;⑤水環(huán)境預(yù)警，對當(dāng)前水質(zhì)進(jìn)行模擬評估，分析水質(zhì)未來趨勢，進(jìn)行預(yù)警與提示，引導(dǎo)環(huán)境監(jiān)測部門做好預(yù)防。

2.2 應(yīng)用成效

上述水環(huán)境監(jiān)測網(wǎng)絡(luò)與大數(shù)據(jù)平臺(tái)應(yīng)用后，可全面采集流域的湖體數(shù)據(jù)、河道數(shù)據(jù)、飲用水?dāng)?shù)據(jù)及重點(diǎn)污染源監(jiān)測點(diǎn)的監(jiān)測數(shù)據(jù)，實(shí)時(shí)掌握流域的水質(zhì)、水量狀況，分析其污染狀況，實(shí)現(xiàn)水環(huán)境的精細(xì)化、規(guī)范化管理，為水環(huán)境污染綜合治理決策提供幫助。同時(shí)，在大數(shù)據(jù)技術(shù)應(yīng)用后，解決了該流域水環(huán)境監(jiān)管的信息“孤島”問題，提高流域水環(huán)境管理水平?？梢?，大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測中優(yōu)勢顯著，可推廣普及。

3 結(jié)論

綜上所述，在環(huán)境監(jiān)測中，大數(shù)據(jù)技術(shù)可實(shí)現(xiàn)監(jiān)測數(shù)據(jù)的分類采集、全面集成與深入分析，確保監(jiān)測數(shù)據(jù)真實(shí)可靠。為保障大數(shù)據(jù)技術(shù)優(yōu)勢的發(fā)揮，環(huán)境監(jiān)測部門需構(gòu)建大數(shù)據(jù)平臺(tái)，結(jié)合環(huán)境監(jiān)測工作要求，設(shè)置數(shù)據(jù)采集功能、數(shù)據(jù)集成原則與深入分析技術(shù)，提高環(huán)境監(jiān)測水平，創(chuàng)設(shè)良好生態(tài)環(huán)境。

參考文獻(xiàn)：

[1]張麗平.大數(shù)據(jù)在環(huán)境執(zhí)法與監(jiān)測中的運(yùn)用探討[J].綠色環(huán)保建材，2020（06）：78+81.

[2]黃潤楠.探析大數(shù)據(jù)解析技術(shù)在大氣環(huán)境監(jiān)測中的應(yīng)用[J].農(nóng)家參謀，2020（10）：195.

作者簡介：

周淵海（1985- ），男，江蘇省張家港市人，漢族，大學(xué)本科，工程師。

張卓（1986- ），女，江蘇省張家港市人，漢族，大學(xué)本科，工程師。