上海市環(huán)保大數(shù)據(jù)建設(shè)實踐與探索

王勤

上海市環(huán)境保護(hù)信息中心

上海市環(huán)保大數(shù)據(jù)建設(shè)實踐與探索

王勤

上海市環(huán)境保護(hù)信息中心

基于TOGAF企業(yè)架構(gòu)和HADOOP大數(shù)據(jù)架構(gòu)方法，結(jié)合“云物移大智”等新技術(shù)，提出了上海市環(huán)保大數(shù)據(jù)建設(shè)“一中心、兩平臺三應(yīng)用、三體系”的總體架構(gòu)，為上海市環(huán)保大數(shù)據(jù)建設(shè)提供頂層設(shè)計闡述了數(shù)據(jù)資源中心建設(shè)實踐和大數(shù)據(jù)在空氣質(zhì)量預(yù)測預(yù)報、污染源精準(zhǔn)管理等方面的應(yīng)用探索，為環(huán)保大數(shù)據(jù)建設(shè)提供了思路和借鑒。

環(huán)保大數(shù)據(jù)；總體架構(gòu)；數(shù)據(jù)資源中心；創(chuàng)新應(yīng)用

Abstract: Based on TOGAF enterprise architecture and HADOOP big data rchitecture method, the author puts forward ‘one center, two platforms, three applications, three systems’ overall architecture for Shanghai environment protection big data construction combined with‘cloud thing mobile big intelligence’ etc new technologies as top level design of Shanghai environment protection big data construction.The article introduces data resource center construction practice and application exploration of big data on air quality prediction, pollution source precision management and gives ideas and reference to environment protection big data construction.

Key words: Environment Protection Big Data Construction, Overal Architecture, Data Resource Center, Innovative Application

大數(shù)據(jù)是以數(shù)據(jù)體量巨大（Volume）、數(shù)據(jù)類型繁多（Variety）、價值密度低（Value）、處理速度快（Velocity）為特征的數(shù)據(jù)集合，其本質(zhì)是用嶄新的思維和技術(shù)對海量數(shù)據(jù)進(jìn)行整合分析，從中發(fā)現(xiàn)新知識、創(chuàng)造新價值、提升新能力，帶來“大知識”“大科技”“大利潤”和“大發(fā)展”[1]，已成為政府運(yùn)作方式轉(zhuǎn)變的一個熱點[2]。

黨中央、國務(wù)院高度重視大數(shù)據(jù)在推進(jìn)生態(tài)文明建設(shè)中的地位和作用?！洞龠M(jìn)大數(shù)據(jù)發(fā)展行動綱要》等文件明確要求：構(gòu)建“互聯(lián)網(wǎng)+”綠色生態(tài)，實現(xiàn)生態(tài)環(huán)境數(shù)據(jù)互聯(lián)互通和開放共享，促進(jìn)大數(shù)據(jù)的創(chuàng)新應(yīng)用。習(xí)近平總書記指示，要推進(jìn)全國生態(tài)環(huán)境監(jiān)測數(shù)據(jù)聯(lián)網(wǎng)共享，開展生態(tài)環(huán)境大數(shù)據(jù)分析。李克強(qiáng)總理強(qiáng)調(diào)，要在環(huán)保等重點領(lǐng)域引入大數(shù)據(jù)監(jiān)管，主動查究違法違規(guī)行為。環(huán)保部印發(fā)的《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》，強(qiáng)調(diào)要以改善環(huán)境質(zhì)量為核心，統(tǒng)一基礎(chǔ)設(shè)施建設(shè)，集中管理數(shù)據(jù)資源，推進(jìn)系統(tǒng)整合關(guān)聯(lián)和數(shù)據(jù)開放共享，促進(jìn)業(yè)務(wù)協(xié)同[3]。

上海市環(huán)保順應(yīng)大數(shù)據(jù)時代發(fā)展趨勢，根據(jù)國家、市和環(huán)保部的總體要求，運(yùn)用頂層設(shè)計、“互聯(lián)網(wǎng)+”等新思維，結(jié)合“云物移大智”等新技術(shù)，對上海市環(huán)保大數(shù)據(jù)建設(shè)進(jìn)行了深入研究、認(rèn)真實踐和積極探索。

圖1 上海市環(huán)保大數(shù)據(jù)建設(shè)總體架構(gòu)圖

1 上海市環(huán)保大數(shù)據(jù)建設(shè)總體架構(gòu)

上海市環(huán)保基于TOGAF企業(yè)架構(gòu)[4]和HADOOP大數(shù)據(jù)架構(gòu)方法，以改善環(huán)境質(zhì)量為核心，以推動信息資源整合共享和開放、促進(jìn)業(yè)務(wù)協(xié)同聯(lián)動、加強(qiáng)大數(shù)據(jù)綜合應(yīng)用和集成分析能力為目標(biāo)，從業(yè)務(wù)架構(gòu)、應(yīng)用架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)4方面開展深入研究，提出了“一中心、兩平臺、三應(yīng)用、三體系”的上海市環(huán)保大數(shù)據(jù)建設(shè)總體架構(gòu)，為大數(shù)據(jù)建設(shè)提供了頂層設(shè)計（見圖1）。

1.1 數(shù)據(jù)資源中心

一中心即數(shù)據(jù)資源中心，涵蓋基礎(chǔ)設(shè)施層和數(shù)據(jù)資源層。

基礎(chǔ)設(shè)施層包含一體化建設(shè)的IT機(jī)房、環(huán)保云、物聯(lián)網(wǎng)等基礎(chǔ)設(shè)施，為大數(shù)據(jù)處理和應(yīng)用提供統(tǒng)一的基礎(chǔ)硬件支撐環(huán)境。

數(shù)據(jù)資源層包含數(shù)據(jù)來源、數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)共享4個子層和數(shù)據(jù)資源管理平臺5部分，為大數(shù)據(jù)應(yīng)用提供數(shù)據(jù)支撐服務(wù)。環(huán)保大數(shù)據(jù)主要來源為環(huán)保內(nèi)部業(yè)務(wù)系統(tǒng)、各委辦局共享數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)；數(shù)據(jù)采集層包含統(tǒng)一的數(shù)據(jù)傳輸交換平臺，將源數(shù)據(jù)采集傳輸交換到數(shù)據(jù)存儲層；數(shù)據(jù)存儲層承擔(dān)數(shù)據(jù)存儲和計算處理職能，包含污染源、環(huán)境質(zhì)量、環(huán)境政務(wù)3個主題核心庫和關(guān)系型數(shù)據(jù)庫、分布式文件兩大管理系統(tǒng)，平時關(guān)系型數(shù)據(jù)存儲于關(guān)系型數(shù)據(jù)庫，進(jìn)行高效的查詢和更新，需進(jìn)行大數(shù)據(jù)分析時，再納入分布式文件管理系統(tǒng)，與非結(jié)構(gòu)化、流數(shù)據(jù)等分別進(jìn)行計算處理和存儲；數(shù)據(jù)共享層通過統(tǒng)一的數(shù)據(jù)共享服務(wù)平臺與環(huán)保部、市各委辦局、各區(qū)環(huán)保局和局各應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)共享；數(shù)據(jù)資源管理平臺包含資源目錄、數(shù)據(jù)質(zhì)量、數(shù)據(jù)清洗整合、數(shù)據(jù)資源監(jiān)控等管理系統(tǒng)，實現(xiàn)對數(shù)據(jù)采集、傳輸、存儲、共享全過程管理。

1.2 綜合業(yè)務(wù)平臺和公眾服務(wù)平臺

二平臺即綜合業(yè)務(wù)平臺和公眾服務(wù)平臺，是大數(shù)據(jù)界面訪問層。綜合業(yè)務(wù)平臺構(gòu)筑于政務(wù)外網(wǎng)之上，為環(huán)保系統(tǒng)內(nèi)部業(yè)務(wù)辦公的統(tǒng)一門戶，集成整合日常辦公功能和各業(yè)務(wù)系統(tǒng)，實現(xiàn)一站式登錄，業(yè)務(wù)協(xié)同辦理。公眾服務(wù)平臺，即上海環(huán)境網(wǎng)站+微博+微信+APP，構(gòu)筑于互聯(lián)網(wǎng)上，是上海市環(huán)保服務(wù)公眾的主渠道，具備網(wǎng)上辦事、信息公開、投訴舉報等功能。

1.3 環(huán)境質(zhì)量、污染源和環(huán)境政務(wù)三應(yīng)用體系

三應(yīng)用即根據(jù)環(huán)境管理對象確立的污染源、環(huán)境質(zhì)量和環(huán)境政務(wù)三應(yīng)用體系，是大數(shù)據(jù)業(yè)務(wù)應(yīng)用層，為大數(shù)據(jù)在各領(lǐng)域應(yīng)用提供綜合服務(wù)。根據(jù)環(huán)境要素，各應(yīng)用體系可分為水、氣、聲、土壤、生態(tài)、核與輻射等，針對各環(huán)境業(yè)務(wù)，還有監(jiān)測、監(jiān)察、監(jiān)管和應(yīng)急等業(yè)務(wù)領(lǐng)域，“十三五”期間，污染源監(jiān)管、生態(tài)環(huán)境監(jiān)測、環(huán)境監(jiān)察執(zhí)法、環(huán)境應(yīng)急、環(huán)境影響評價管理和網(wǎng)站被定為六大環(huán)保大數(shù)據(jù)創(chuàng)新應(yīng)用領(lǐng)域。

應(yīng)用支撐層，主要包括分布式搜索引擎、大數(shù)據(jù)分析模型和工具、可視化工具、身份認(rèn)證、權(quán)限管理、工作流引擎等公共的應(yīng)用開發(fā)服務(wù)，支撐各大數(shù)據(jù)應(yīng)用開發(fā)建設(shè)。

1.4 大數(shù)據(jù)建設(shè)保障體系

三個保障體系分別為標(biāo)準(zhǔn)規(guī)范體系、信息安全體系和運(yùn)維管理體系，為大數(shù)據(jù)規(guī)范建設(shè)、安全穩(wěn)定運(yùn)行提供全面保障。

2 上海市環(huán)保數(shù)據(jù)資源中心建設(shè)實踐

大數(shù)據(jù)建設(shè)中數(shù)據(jù)資源中心建設(shè)是基礎(chǔ)，更是核心，上海市環(huán)保率先以環(huán)境數(shù)據(jù)資源中心建設(shè)為突破，強(qiáng)化建設(shè)實踐，有效推動信息資源整合共享和開放，為深化大數(shù)據(jù)綜合應(yīng)用和集成分析奠定了堅實的基礎(chǔ)。

2.1 標(biāo)準(zhǔn)規(guī)范體系建設(shè)

編制了《上海市環(huán)保信息化建設(shè)總體技術(shù)要求》，明確了上海市環(huán)保大數(shù)據(jù)建設(shè)將采用統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、集約建設(shè)、集中管理，市區(qū)分級使用的建設(shè)模式，數(shù)據(jù)集中存儲于市環(huán)保數(shù)據(jù)資源中心，屬地數(shù)據(jù)可共享到各區(qū)縣數(shù)據(jù)中心。研究確立了上海市環(huán)境數(shù)據(jù)資源標(biāo)準(zhǔn)規(guī)范體系，制定了數(shù)據(jù)庫設(shè)計、數(shù)據(jù)傳輸交換、數(shù)據(jù)共享服務(wù)、數(shù)據(jù)質(zhì)量控制、運(yùn)維管理等技術(shù)規(guī)范，形成環(huán)保數(shù)據(jù)資源中心建設(shè)和管理有標(biāo)可循、有標(biāo)引領(lǐng)、有標(biāo)支撐的局面，有效促進(jìn)了大數(shù)據(jù)建設(shè)的規(guī)范性、數(shù)據(jù)資源整合的有效性、數(shù)據(jù)質(zhì)量的可靠性和數(shù)據(jù)更新維護(hù)的可持續(xù)性。

2.2 基礎(chǔ)設(shè)施建設(shè)

建設(shè)了150 m2的市環(huán)保中心機(jī)房，采用冗余設(shè)計。具備政務(wù)外網(wǎng)、政務(wù)內(nèi)網(wǎng)、互聯(lián)網(wǎng)和環(huán)境監(jiān)測4套網(wǎng)絡(luò)，其中，依托政務(wù)外網(wǎng)實現(xiàn)部、市、區(qū)、街鎮(zhèn)四級縱向聯(lián)通及與各委辦局橫向互聯(lián)，接入帶寬100 M，桌面帶寬10 M；基于互聯(lián)網(wǎng)，建立市、區(qū)二級無線為主的在線監(jiān)控網(wǎng)絡(luò)；擁有服務(wù)器132臺，存儲近200 T，近期，利用20臺核心服務(wù)器和100 T存儲進(jìn)行虛擬化、資源池化建設(shè)改造，構(gòu)建上海市環(huán)保云。

2.3 數(shù)據(jù)資源梳理

環(huán)保數(shù)據(jù)主要有內(nèi)外兩個來源。內(nèi)部數(shù)據(jù)來源于環(huán)保業(yè)務(wù)，按環(huán)境管理對象分為污染源、環(huán)境質(zhì)量和環(huán)境政務(wù)3大系列。環(huán)境質(zhì)量數(shù)據(jù)包含對區(qū)域水、氣、聲、土壤、生態(tài)、核與輻射等各環(huán)境要素質(zhì)量的自動監(jiān)測、人工監(jiān)測、預(yù)測預(yù)報等數(shù)據(jù)近20套。

數(shù)據(jù)類型包括關(guān)系型結(jié)構(gòu)化數(shù)據(jù)，本文、圖片、視屏等非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，以及在線監(jiān)測等流數(shù)據(jù)。

2.4 資源目錄體系建設(shè)

建立了資源目錄體系，制定了環(huán)境信息資源分類方法、標(biāo)識符編碼、核心元數(shù)據(jù)管理等規(guī)則，明確了應(yīng)用模式和多權(quán)限多角色管理要求，按業(yè)務(wù)和組織架構(gòu)相結(jié)合的雙重分類模式，對各類型數(shù)據(jù)分別進(jìn)行編目；建立了資源目錄管理系統(tǒng)，實現(xiàn)了環(huán)境資源目錄收集整理、編制注冊、審核、查詢、瀏覽、共享應(yīng)用的信息化、規(guī)范化管理。

2.5 核心數(shù)據(jù)庫建設(shè)

根據(jù)環(huán)保管理對象和管理特點，按照數(shù)據(jù)庫設(shè)計規(guī)范，建立污染源、環(huán)境質(zhì)量、環(huán)境政務(wù)3大主題核心庫，存儲按主題整合處理后的各類數(shù)據(jù)，具有列式存儲、鍵值存儲、文件存儲、圖存儲、XML等多種存儲方式，其中，污染源主題核心庫存儲的是通過污染源統(tǒng)一編碼，關(guān)聯(lián)整合13套污染源監(jiān)測、監(jiān)察、監(jiān)管數(shù)據(jù)后形成的污染源核心數(shù)據(jù)，目前核心庫數(shù)據(jù)存儲量約為50余T。

2.6 數(shù)據(jù)傳輸交換與共享服務(wù)系統(tǒng)建設(shè)

基于ESB總線，以前置庫方式為主、Web Service接口為輔構(gòu)建數(shù)據(jù)傳輸交換和共享服務(wù)系統(tǒng)。數(shù)據(jù)傳輸交換系統(tǒng)按照資源目錄定位各信息資源，實時將業(yè)務(wù)系統(tǒng)產(chǎn)生的異地、異構(gòu)數(shù)據(jù)及文件等信息，根據(jù)數(shù)據(jù)質(zhì)量控制規(guī)范要求，采用ETL工具進(jìn)行抽取、清洗、結(jié)構(gòu)轉(zhuǎn)換等規(guī)范化處理后存入前置庫，再將各前置庫中數(shù)據(jù)按污染源、環(huán)境質(zhì)量等主題整合后，集中存儲于數(shù)據(jù)中心各主題核心庫，進(jìn)行管理；數(shù)據(jù)共享服務(wù)系統(tǒng)則將數(shù)據(jù)資源中心的數(shù)據(jù)資源，按共享權(quán)限分別為環(huán)保部、各區(qū)縣環(huán)保局、內(nèi)部各業(yè)務(wù)應(yīng)用、市各部門提供信息共享服務(wù)。目前配置的數(shù)據(jù)交換和共享服務(wù)共涉及34類業(yè)務(wù)近400項，并以每年約30%的速度增長。

2.7 資源監(jiān)控系統(tǒng)建設(shè)

建立了數(shù)據(jù)資源監(jiān)控系統(tǒng)，對基礎(chǔ)設(shè)施、數(shù)據(jù)資源、數(shù)據(jù)交換和服務(wù)任務(wù)、虛擬化環(huán)境安全等方面進(jìn)行全面監(jiān)控，形成監(jiān)控日志，通過可視化界面實時、直觀反映監(jiān)控情況，發(fā)現(xiàn)問題及時通過微信、短信、郵件、系統(tǒng)告警頁等多種形式進(jìn)行告警；建立故障處理知識庫，輔助快速排除故障；實行監(jiān)控數(shù)據(jù)統(tǒng)計分析，輔助軟硬件配置優(yōu)化、掌握數(shù)據(jù)資源利用情況。

2.8 安全保障體系建設(shè)

從安全管理策略、信息安全監(jiān)控、信息安全應(yīng)急和信息安全評估4個環(huán)節(jié)保障信息安全。采用防火墻、入侵檢測、網(wǎng)絡(luò)安全審計、漏洞掃描及計算機(jī)病毒防殺等技術(shù)實現(xiàn)全面安全防范；規(guī)范數(shù)據(jù)備份，相對穩(wěn)定的備份異地存放；建立統(tǒng)一的用戶授權(quán)機(jī)制，不同用戶擁有不同的訪問權(quán)限，對數(shù)據(jù)訪問提供日志跟蹤審計手段，采用三重DES加密算法，對信息加密后進(jìn)行傳輸、存儲；建立安全管理制度和應(yīng)急預(yù)案，定期進(jìn)行安全評估和應(yīng)急演練。

3 上海市環(huán)保大數(shù)據(jù)創(chuàng)新應(yīng)用探索

上海市環(huán)保以空氣質(zhì)量預(yù)測預(yù)報和污染源精準(zhǔn)管理為試點，開展大數(shù)據(jù)創(chuàng)新應(yīng)用探索，為在多領(lǐng)域開展大數(shù)據(jù)綜合分析應(yīng)用提供思路和借鑒。

3.1 大數(shù)據(jù)在空氣質(zhì)量預(yù)測預(yù)報中的應(yīng)用

近年來，秋冬季霧霾時有發(fā)生，準(zhǔn)確預(yù)報空氣質(zhì)量、及時采取應(yīng)急措施是保障公眾身體健康、生產(chǎn)生活正常開展的重要舉措。

上海空氣質(zhì)量預(yù)測預(yù)報數(shù)據(jù)來源主要包括4類，第1類是美國國家環(huán)境預(yù)報中心的全球預(yù)報系統(tǒng)（GFS） 氣象數(shù)據(jù)，數(shù)據(jù)量每天5 G左右；第2類是全國空氣質(zhì)量監(jiān)測數(shù)據(jù)，包括常規(guī)AQI數(shù)據(jù)及超級站的監(jiān)測數(shù)據(jù)；第3類是背景數(shù)據(jù)，主要是東亞地形地貌數(shù)據(jù)及氣候特征數(shù)據(jù)、污染排放特征數(shù)據(jù)，數(shù)據(jù)量每天2 G左右；第4類是大氣污染物排放源清單數(shù)據(jù)，包括城市排放清單和區(qū)域排放清單數(shù)據(jù)。將這四類數(shù)據(jù)，結(jié)合NAQPMS、CMAQ、CAMx、WRF-Chem等 大 氣化學(xué)模型構(gòu)成的多模式結(jié)合數(shù)值預(yù)報模型，產(chǎn)生不同的預(yù)報值，供環(huán)境管理者最終預(yù)報參考。

空氣質(zhì)量預(yù)測預(yù)報后臺需要復(fù)雜的計算和判斷過程，隨著后臺數(shù)據(jù)量的累計和大數(shù)據(jù)等各項技術(shù)發(fā)展，預(yù)報準(zhǔn)確度及能力均有大幅提升，從2013年的24 h預(yù)報提升到今年6月5日起的72 h預(yù)報，且2016年預(yù)測相關(guān)系數(shù)已達(dá)到70%以上。

3.2 大數(shù)據(jù)在污染源精準(zhǔn)監(jiān)管中的應(yīng)用

根據(jù)最近一次污染源普查，上海市有污染源9萬余家，為加強(qiáng)對污染源的監(jiān)管，促進(jìn)企業(yè)、政府和公眾對環(huán)境管理的共識共治，建立基于標(biāo)簽體系的企業(yè)環(huán)境行為評價。在整合污染源管理13套數(shù)據(jù)、互聯(lián)網(wǎng)輿情數(shù)據(jù)和企業(yè)經(jīng)濟(jì)活動數(shù)據(jù)等環(huán)境行為數(shù)據(jù)基礎(chǔ)上，建立并運(yùn)用排放模式識別、合規(guī)性規(guī)則識別、環(huán)境行為輿情情感識別等模型，以及動態(tài)環(huán)境行為標(biāo)簽標(biāo)定技術(shù)，實現(xiàn)企業(yè)環(huán)境行為等級評估及分析，繪制企業(yè)環(huán)境行為畫像，實現(xiàn)企業(yè)環(huán)境行為特征分析，輔助識別高風(fēng)險企業(yè)，實施精準(zhǔn)執(zhí)法，為綠色金融和綠色信貸奠定基礎(chǔ)。

4 總結(jié)

上海市環(huán)?；赥OGAF企業(yè)架構(gòu)和HADOOP大數(shù)據(jù)架構(gòu)方法，研究提出了“一中心、兩平臺、三應(yīng)用、三體系”的上海市環(huán)保大數(shù)據(jù)總體架構(gòu)，為上海市環(huán)保大數(shù)據(jù)建設(shè)提供頂層設(shè)計。以數(shù)據(jù)資源中心建設(shè)為突破，開展大數(shù)據(jù)建設(shè)實踐，實現(xiàn)了統(tǒng)一基礎(chǔ)設(shè)施建設(shè)，集中數(shù)據(jù)資源管理，數(shù)據(jù)資源整合共享開放，為深化大數(shù)據(jù)應(yīng)用建設(shè)奠定了堅實的基礎(chǔ)。并以空氣質(zhì)量預(yù)測預(yù)報、污染源精準(zhǔn)管理等為試點，進(jìn)行了創(chuàng)新應(yīng)用探索，取得了良好效果。下一步，將以加強(qiáng)大數(shù)據(jù)綜合應(yīng)用和集成分析能力建設(shè)、強(qiáng)化六大領(lǐng)域的創(chuàng)新應(yīng)用開發(fā)為重點，更好地為推進(jìn)環(huán)境管理轉(zhuǎn)型、提升環(huán)境治理能力提供支撐。

[1]涂子沛. 大數(shù)據(jù)[M]。桂林：廣西師范大學(xué)出版社，2012

[2]徐繼華. 馮啟娜，陳貞如。智慧政府：大數(shù)據(jù)治國時代的來臨[M]。北京：中信出版社， 2014.

[3] 生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案環(huán)辦廳[2016]23號

[4]趙捷.企業(yè)信息化總體架構(gòu)[M]。北京：清華大學(xué)出版社，2011-1

Practice and Exploration of Environment Protection Big Data Construction in Shanghai

Wang Qin
Shanghai Environment Protection Information Center

10.13770/j.cnki.issn2095-705x.2017.09.002

王勤：（1968-），女，碩士研究生，高級工程師，上海市環(huán)境保護(hù)信息中心副主任，長期從事上海市環(huán)境信息化發(fā)展規(guī)劃編制、標(biāo)準(zhǔn)規(guī)范制定、數(shù)據(jù)中心建設(shè)、應(yīng)用系統(tǒng)開發(fā)和項目管理等工作。