徐延軍
(中遠(yuǎn)海運(yùn)科技股份有限公司,上海 200135)
隨著經(jīng)濟(jì)社會(huì)的快速發(fā)展,生態(tài)文明建設(shè)和環(huán)境保護(hù)進(jìn)入了新的發(fā)展階段,黨的十九大報(bào)告中提出的“樹(shù)立和踐行綠水青山就是金山銀山”的理念與“堅(jiān)持節(jié)約資源和保護(hù)環(huán)境的基本國(guó)策”一起,成為了新時(shí)代中國(guó)特色社會(huì)主義生態(tài)文明建設(shè)的思想和基本方略。近年來(lái),我國(guó)在環(huán)境保護(hù)領(lǐng)域取得了突出的成績(jī),環(huán)保工作越來(lái)越受社會(huì)各界的重視。在此背景下,環(huán)保工作要求越來(lái)越高,傳統(tǒng)的環(huán)保管理手段已不能適應(yīng)和滿足新時(shí)代環(huán)保管理的要求,需進(jìn)一步將其與信息技術(shù)(Information Technology,IT)深度結(jié)合,推動(dòng)環(huán)保工作轉(zhuǎn)型升級(jí),使環(huán)境保護(hù)從增強(qiáng)意識(shí)向務(wù)實(shí)落地應(yīng)用的方向發(fā)展,增強(qiáng)環(huán)保能力建設(shè),提升環(huán)境保護(hù)的信息化水平。
環(huán)境信息化是利用現(xiàn)代信息技術(shù)對(duì)各類環(huán)境信息進(jìn)行全方位整合,通過(guò)信息共享和交流推動(dòng)環(huán)境保護(hù)業(yè)務(wù)不斷向前發(fā)展的重要技術(shù)手段。近年來(lái),隨著信息化建設(shè)的不斷推進(jìn),環(huán)保信息化工作和環(huán)保數(shù)據(jù)管理系統(tǒng)建設(shè)取得了顯著成績(jī)。例如:河南省建設(shè)的智慧環(huán)保大數(shù)據(jù)平臺(tái)匯總整合了空氣質(zhì)量微觀監(jiān)測(cè)站、空氣質(zhì)量考核站、地表水質(zhì)監(jiān)測(cè)站、重點(diǎn)企業(yè)和施工工地的在線監(jiān)控?cái)?shù)據(jù),能實(shí)現(xiàn)對(duì)環(huán)境的實(shí)時(shí)研判;濟(jì)南市建設(shè)的智慧環(huán)保綜合監(jiān)管平臺(tái)整合了全市的環(huán)境信息資源,構(gòu)建了閉環(huán)精細(xì)化監(jiān)管體系,為城市級(jí)智慧環(huán)保類平臺(tái)建設(shè)提供了綜合解決方案;江西省建設(shè)的環(huán)保大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)了環(huán)境質(zhì)量、重點(diǎn)污染源、生態(tài)環(huán)境狀態(tài)監(jiān)測(cè)全覆蓋和各類監(jiān)測(cè)數(shù)據(jù)系統(tǒng)互聯(lián)互通,以及環(huán)境監(jiān)測(cè)與行政監(jiān)管協(xié)同聯(lián)動(dòng)。由于環(huán)境保護(hù)業(yè)務(wù)具有綜合性特點(diǎn),綜合考慮環(huán)保信息化建設(shè)情況,為進(jìn)一步提升環(huán)保信息化水平,還需解決以下問(wèn)題:
1) 環(huán)保數(shù)據(jù)共享性不強(qiáng)。當(dāng)前,在我國(guó)環(huán)保信息化建設(shè)中,各環(huán)保信息化系統(tǒng)在具體業(yè)務(wù)的信息化管理方面發(fā)揮了積極作用,但各系統(tǒng)之間因建設(shè)主體和實(shí)現(xiàn)技術(shù)等因素不同,沒(méi)有在環(huán)保工作頂層設(shè)計(jì)方面做好統(tǒng)一規(guī)劃,造成各環(huán)保系統(tǒng)“各自為政”,不利于環(huán)保數(shù)據(jù)的互通共享。
2) 環(huán)保數(shù)據(jù)采集難度大。傳統(tǒng)的環(huán)保數(shù)據(jù)采集和統(tǒng)計(jì)多以表格的方式實(shí)現(xiàn),通過(guò)人工手動(dòng)處理,或從專業(yè)系統(tǒng)中檢索、整理獲取。傳統(tǒng)的環(huán)保數(shù)據(jù)采集方式存在采集效率低、數(shù)據(jù)格式不一致、對(duì)人員的素質(zhì)和責(zé)任心要求較高等問(wèn)題;傳統(tǒng)的環(huán)保數(shù)據(jù)統(tǒng)計(jì)方式不僅耗時(shí)費(fèi)力,而且存在不同來(lái)源的數(shù)據(jù)之間不匹配的問(wèn)題,導(dǎo)致環(huán)保數(shù)據(jù)采集較為困難,不利于環(huán)保數(shù)據(jù)的整合。
3) 數(shù)據(jù)整合展示能力不足?,F(xiàn)有的數(shù)據(jù)管理以臺(tái)賬化管理為主,信息整合難度大,數(shù)據(jù)調(diào)查的口徑和方式不同;數(shù)據(jù)缺乏規(guī)范性,環(huán)境信息標(biāo)準(zhǔn)和規(guī)范不健全;缺乏環(huán)境空間信息,僅有地址和經(jīng)緯度信息,數(shù)據(jù)空間分布信息缺失,不利于環(huán)境數(shù)據(jù)的直觀展示。
4) 法律法規(guī)知識(shí)庫(kù)建設(shè)滯后。現(xiàn)有的環(huán)保信息化系統(tǒng)主要圍繞環(huán)保業(yè)務(wù)條線進(jìn)行功能設(shè)計(jì),沒(méi)有將法律法規(guī)的整理匯總和查閱學(xué)習(xí)作為環(huán)境治理和業(yè)務(wù)能力提升的補(bǔ)充。
5) 環(huán)保監(jiān)管協(xié)同處置不連貫。由于環(huán)保業(yè)務(wù)中的環(huán)境監(jiān)測(cè)與環(huán)境執(zhí)法是由不同的部門負(fù)責(zé)的,環(huán)境監(jiān)測(cè)部門發(fā)現(xiàn)問(wèn)題與環(huán)境執(zhí)法部門立案處理之間缺乏跨部門協(xié)同處置的過(guò)程,導(dǎo)致環(huán)境監(jiān)管處置流程不順暢,環(huán)境保護(hù)工作效率較低。
綜上,設(shè)計(jì)研發(fā)具有多源異構(gòu)數(shù)據(jù)融合能力和跨部門環(huán)保業(yè)務(wù)協(xié)同處置能力,能提供法律法規(guī)知識(shí)庫(kù)構(gòu)建服務(wù)的環(huán)保信息化系統(tǒng)具有重要意義。本文基于數(shù)據(jù)生命周期管理的理念,圍繞環(huán)境質(zhì)量管理,以全國(guó)第二次污染物普查數(shù)據(jù)、空間地理信息、排污許可證信息、污染源監(jiān)測(cè)數(shù)據(jù)、污染源監(jiān)管數(shù)據(jù)、環(huán)境質(zhì)量數(shù)據(jù)和環(huán)境規(guī)劃信息等海量多源異構(gòu)數(shù)據(jù)為基礎(chǔ)構(gòu)建環(huán)境數(shù)據(jù)資源中心,建設(shè)基于網(wǎng)絡(luò)地理信息系統(tǒng)(WebGIS)的環(huán)保信息化系統(tǒng),為城市環(huán)境治理和污染源管理提供智能化解決方案。同時(shí),通過(guò)打通排污許可證后監(jiān)管系統(tǒng)、環(huán)境在線監(jiān)測(cè)系統(tǒng)、上海市污染源綜合管理信息系統(tǒng)和浦東水務(wù)云平臺(tái)等系統(tǒng),實(shí)現(xiàn)環(huán)境數(shù)據(jù)的跨部門互聯(lián)互通和環(huán)保業(yè)務(wù)的跨職能協(xié)同管理,搭建環(huán)保法律法規(guī)知識(shí)庫(kù),提高環(huán)保知識(shí)學(xué)習(xí)能力和環(huán)保業(yè)務(wù)處理能力,從而打通政府和企業(yè)環(huán)境保護(hù)與治理的產(chǎn)業(yè)鏈,形成環(huán)保管控和服務(wù)平臺(tái),切實(shí)體現(xiàn)“放管服”改革舉措;構(gòu)建環(huán)保“政府監(jiān)管、企業(yè)自律、公眾參與”的社會(huì)共治模式,促進(jìn)環(huán)保信息化服務(wù)的專業(yè)化、智能化和平臺(tái)化發(fā)展,推動(dòng)生態(tài)環(huán)境治理水平和民生服務(wù)水平進(jìn)一步提升。
環(huán)保信息化系統(tǒng)總體架構(gòu)設(shè)計(jì)圖見(jiàn)圖1,主要由采集層、處理層、支撐層、應(yīng)用層和展示層等組成。
1) 采集層主要實(shí)現(xiàn)對(duì)環(huán)境專業(yè)數(shù)據(jù)和公開(kāi)數(shù)據(jù)的對(duì)接采集,以及對(duì)數(shù)據(jù)和資料的人工錄入。
2) 處理層主要實(shí)現(xiàn)對(duì)數(shù)據(jù)的繼承、清洗、轉(zhuǎn)換、加載、加工、分類和檢索挖掘等。
3) 支撐層主要提供地理信息引擎、工作流引擎、統(tǒng)一身份認(rèn)證、報(bào)表管理、統(tǒng)一日志、數(shù)據(jù)庫(kù)引擎、圖像識(shí)別和數(shù)據(jù)共享交換等功能,為應(yīng)用系統(tǒng)提供支撐。
4) 應(yīng)用層為環(huán)保信息化系統(tǒng)的主要功能層,主要由4部分組成。
(1) 污染源管理:實(shí)現(xiàn)對(duì)污染源信息的管理;建立環(huán)境規(guī)劃信息和對(duì)應(yīng)圖層;實(shí)現(xiàn)對(duì)污染源信息不同需求維度的檢索。
(2) 環(huán)境政策法規(guī)知識(shí)庫(kù):通過(guò)匯集現(xiàn)有環(huán)保政策法規(guī)資料,并從法律法規(guī)、環(huán)境標(biāo)準(zhǔn)和技術(shù)規(guī)范,以及國(guó)家級(jí)和上海市級(jí)等多個(gè)維度進(jìn)行分類,建立環(huán)保政策法規(guī)知識(shí)庫(kù)。
(3) 環(huán)境質(zhì)量分析:實(shí)現(xiàn)水環(huán)境質(zhì)量分析和大氣環(huán)境質(zhì)量分析2個(gè)子功能。
(4) 環(huán)境智能應(yīng)用:建設(shè)水環(huán)境保護(hù)預(yù)警智能預(yù)報(bào)和污染源處置能力智能評(píng)估應(yīng)用。
5) 表現(xiàn)層主要為用戶提供交互界面。
圖1 環(huán)保信息化系統(tǒng)總體架構(gòu)設(shè)計(jì)圖
2.2.1 多源異構(gòu)數(shù)據(jù)采集與融合
主要采用抽取-轉(zhuǎn)換-加載(Extract-Transform-Load,ETL)方法,從外部系統(tǒng)和已有的業(yè)務(wù)系統(tǒng)中全面采集污染源普查信息、空間地理信息、排污許可證信息、污染源監(jiān)測(cè)數(shù)據(jù)、污染源監(jiān)管數(shù)據(jù)、環(huán)境質(zhì)量數(shù)據(jù)和環(huán)境規(guī)劃信息。數(shù)據(jù)采集流程圖見(jiàn)圖2。
圖2 數(shù)據(jù)采集流程圖
數(shù)據(jù)采集方式主要有聯(lián)機(jī)采集、前置機(jī)、網(wǎng)絡(luò)服務(wù)接口、離線數(shù)據(jù)導(dǎo)入和人工審核填報(bào)等5種。
1) 聯(lián)機(jī)采集方式:對(duì)于允許直接訪問(wèn)的數(shù)據(jù),采用聯(lián)機(jī)采集機(jī)制采集,直接訪問(wèn)關(guān)系型數(shù)據(jù)源。
2) 前置機(jī)方式:對(duì)于不允許直接訪問(wèn)的數(shù)據(jù),采用前置機(jī)方式采集,即業(yè)務(wù)系統(tǒng)將需要的數(shù)據(jù)同步到中間表中,從中間表中采集數(shù)據(jù)。
3) 網(wǎng)絡(luò)服務(wù)接口方式:可基于SOAP和RESTful API等網(wǎng)絡(luò)技術(shù)協(xié)議,實(shí)現(xiàn)異構(gòu)系統(tǒng)間的數(shù)據(jù)交換。優(yōu)先考慮將HTTP作為交換協(xié)議。
4) 離線數(shù)據(jù)導(dǎo)入方式:對(duì)于無(wú)法聯(lián)機(jī)訪問(wèn),但業(yè)務(wù)系統(tǒng)可導(dǎo)出的數(shù)據(jù),采用離線數(shù)據(jù)導(dǎo)入方式采集,即對(duì)于業(yè)務(wù)系統(tǒng)按數(shù)據(jù)更新頻次要求導(dǎo)出的離線數(shù)據(jù),由采集系統(tǒng)根據(jù)不同數(shù)據(jù)和文件類型進(jìn)行導(dǎo)入。
5) 人工審核填報(bào)方式:對(duì)于沒(méi)有信息系統(tǒng)或電子臺(tái)賬,只有紙質(zhì)文件的數(shù)據(jù),可采用人工填報(bào)審核的方式采集。
針對(duì)以上多源異構(gòu)數(shù)據(jù),系統(tǒng)根據(jù)環(huán)保數(shù)據(jù)的內(nèi)在業(yè)務(wù)邏輯關(guān)系,對(duì)各類數(shù)據(jù)資源進(jìn)行時(shí)間上和空間上的綜合處理。首先,按數(shù)據(jù)類型劃分?jǐn)?shù)據(jù)類別,分為污染源普查、空間地理、排污許可證、污染源監(jiān)測(cè)、污染源監(jiān)管、環(huán)境質(zhì)量和環(huán)境規(guī)劃等;然后,按服務(wù)和應(yīng)用建立數(shù)據(jù)對(duì)應(yīng)的主題庫(kù),如應(yīng)用門戶和數(shù)據(jù)統(tǒng)計(jì)分析等,為數(shù)據(jù)的統(tǒng)一分類提供條件。
2.2.2 數(shù)據(jù)分析與可視化
2.2.2.1 數(shù)據(jù)分析統(tǒng)一展示
系統(tǒng)以數(shù)據(jù)展示大屏的方式,基于WebGIS 地圖展示企業(yè)、大氣環(huán)境、水環(huán)境、危廢和土壤環(huán)境等數(shù)據(jù)。圖3為主頁(yè) WebGIS 地圖。
圖3 主頁(yè) WebGIS 地圖
1) 企業(yè):通過(guò)右上角的“精確查詢”和“分類查詢”進(jìn)行不同條件的檢索,點(diǎn)擊“企業(yè)標(biāo)識(shí)”進(jìn)入企業(yè)一源一檔概述界面。
2) 大氣環(huán)境:展示浦東新區(qū)最常用的5個(gè)環(huán)境空氣監(jiān)測(cè)站點(diǎn),站點(diǎn)標(biāo)識(shí)上的數(shù)字為實(shí)時(shí)空氣質(zhì)量指數(shù)(Air Quality Index, AQI),標(biāo)識(shí)顏色表示空氣質(zhì)量等級(jí)。
3) 水環(huán)境:展示浦東新區(qū)39個(gè)國(guó)控和市控?cái)嗝鎸?shí)時(shí)水質(zhì)情況,標(biāo)識(shí)上的數(shù)字表示該斷面水質(zhì)目標(biāo),綠色表示斷面達(dá)標(biāo),紅色表示斷面超標(biāo)。
4) 危廢:展示浦東新區(qū)所有危廢產(chǎn)生單位,可通過(guò)右上角的查詢功能區(qū)進(jìn)行不同條件的檢索查詢。
5) 土壤環(huán)境:展示浦東新區(qū)目前開(kāi)展場(chǎng)地調(diào)查評(píng)估的所有地塊,可通過(guò)右上角的查詢功能區(qū)進(jìn)行不同條件的檢索和查詢。
2.2.2.2 污染源信息展示
基于WebGIS地圖展示工業(yè)污染源、農(nóng)業(yè)污染源、生活污染源、集中式污染治理設(shè)施和移動(dòng)源等污染源信息。圖4為工業(yè)污染源地圖。
2.2.2.3 環(huán)境規(guī)劃信息展示
進(jìn)行多維度環(huán)境規(guī)劃功能區(qū)的WebGIS地圖展示,支持對(duì)工業(yè)源信息的檢索查詢,實(shí)現(xiàn)圖層與污染源的信息疊加,便于對(duì)污染源選址地的環(huán)境規(guī)劃情況進(jìn)行查詢??蓪?duì)“三線一單”、大氣環(huán)境、土壤污染風(fēng)險(xiǎn)和生態(tài)環(huán)境等內(nèi)容的管控分布情況,以及大氣功能區(qū)劃、水功能區(qū)劃和產(chǎn)業(yè)園區(qū)等區(qū)劃信息進(jìn)行直觀展示。圖5為“三線一單”管控地圖。
圖4 工業(yè)污染源地圖
圖5 “三線一單”管控地圖
2.2.2.4 環(huán)境質(zhì)量分析
基于WebGIS地圖展示河道、水質(zhì)信息、重點(diǎn)行業(yè)企業(yè)、排污企業(yè)、養(yǎng)殖企業(yè)、污水處理廠和排污口等環(huán)境質(zhì)量數(shù)據(jù),并對(duì)這些數(shù)據(jù)進(jìn)行分析和展示;同時(shí),對(duì)空氣質(zhì)量、空氣實(shí)況數(shù)據(jù)進(jìn)行分析和展示。
2.2.2.5 法律法規(guī)知識(shí)庫(kù)
構(gòu)建法律法規(guī)知識(shí)庫(kù),匯集環(huán)保政策法規(guī)資料,并按法律法規(guī)、環(huán)境標(biāo)準(zhǔn)和技術(shù)規(guī)范等分類標(biāo)準(zhǔn)進(jìn)行歸類;建立環(huán)保政策法規(guī)知識(shí)庫(kù),并提供全局檢索功能,為企業(yè)環(huán)保咨詢提供查閱和學(xué)習(xí)服務(wù)。
地理信息系統(tǒng) (Geographic Information System,GIS)是在計(jì)算機(jī)硬件和軟件共同支持下,對(duì)地球表層空間中的地理信息數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、處理、運(yùn)算、分析、顯示和應(yīng)用的系統(tǒng)。WebGIS是Web技術(shù)與GIS的結(jié)合,基于B/S(Browser/Server)技術(shù)在互聯(lián)網(wǎng)上展現(xiàn),使用瀏覽器訪問(wèn),使用空間數(shù)據(jù)。手持終端采集的全球定位系統(tǒng)(Global Positioning System,GPS)定位結(jié)果為基于WGS84坐標(biāo)系的結(jié)果,該坐標(biāo)系與我國(guó)全面啟用的CGCS2000國(guó)家大地坐標(biāo)系不一致,導(dǎo)致定位結(jié)果存在較大的累積誤差,不利于在WebGIS地圖上正確展示。另外,由于國(guó)家安全保障工作的需要,我國(guó)所有電子地圖上的真實(shí)經(jīng)緯度坐標(biāo)都需加密為火星坐標(biāo)。因此,需對(duì)手持終端獲取的坐標(biāo)進(jìn)行轉(zhuǎn)換,以獲得對(duì)應(yīng)坐標(biāo)系的數(shù)據(jù),在電子地圖上正確展示。
該系統(tǒng)使用的WebGIS地圖為高德地圖,其采用的坐標(biāo)系為GCJ-02坐標(biāo)系。因此,需將手持終端GPS獲取的WGS-84坐標(biāo)轉(zhuǎn)換為GCJ-02坐標(biāo)。手持終端應(yīng)用軟件調(diào)用GPS功能獲取當(dāng)前的WGS-84坐標(biāo),調(diào)用業(yè)務(wù)接口并傳入該坐標(biāo)數(shù)據(jù),后臺(tái)服務(wù)軟件按坐標(biāo)轉(zhuǎn)換邏輯對(duì)傳入的坐標(biāo)數(shù)據(jù)進(jìn)行計(jì)算和轉(zhuǎn)換,通過(guò)計(jì)算目標(biāo)經(jīng)緯度的粗偏移量、對(duì)角度和弧度進(jìn)行互轉(zhuǎn)和根據(jù)橢球曲率對(duì)粗偏移量進(jìn)行校正等一系列操作,得到對(duì)應(yīng)的GCJ-02坐標(biāo),并將其保存在數(shù)據(jù)庫(kù)表的映射字段中,以便直接加載到WebGIS地圖上,節(jié)省坐標(biāo)數(shù)據(jù)轉(zhuǎn)換時(shí)間。
3.2.1 搭建多維主題數(shù)據(jù)倉(cāng)庫(kù)
規(guī)劃多維主題數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì),通過(guò)制定數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn),按業(yè)務(wù)將數(shù)據(jù)劃分為污染源普查、空間地理、排污許可證、污染源監(jiān)測(cè)、污染源監(jiān)管、環(huán)境質(zhì)量和環(huán)境規(guī)劃等主題,并搭建多維主題數(shù)據(jù)倉(cāng)庫(kù)。在實(shí)現(xiàn)過(guò)程中,采用ETL工具Kettle與SQL語(yǔ)句處理相結(jié)合的方式對(duì)采集到的多源異構(gòu)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換,按業(yè)務(wù)主題和統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)裝載入庫(kù)。
3.2.2 構(gòu)建環(huán)境數(shù)據(jù)資源中心
環(huán)境數(shù)據(jù)資源中心主要由環(huán)境業(yè)務(wù)基礎(chǔ)數(shù)據(jù)庫(kù)、多維主題數(shù)據(jù)倉(cāng)庫(kù)和GIS空間數(shù)據(jù)庫(kù)組成,是環(huán)境數(shù)據(jù)的存儲(chǔ)、組織和管理平臺(tái),便于對(duì)各類環(huán)境數(shù)據(jù)資源進(jìn)行歸納、整理,并根據(jù)環(huán)境管理要求和業(yè)務(wù)邏輯進(jìn)行重定義和再組織。環(huán)境業(yè)務(wù)基礎(chǔ)數(shù)據(jù)庫(kù)主要用于存儲(chǔ)本單位或外部業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù),保留各業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù);多維主題數(shù)據(jù)倉(cāng)庫(kù)按主題存儲(chǔ)經(jīng)過(guò)清洗(包括去除重復(fù)數(shù)據(jù)、補(bǔ)充缺失值和核實(shí)異常值等)的環(huán)境數(shù)據(jù),為數(shù)據(jù)的多維分析提供來(lái)源;GIS空間數(shù)據(jù)庫(kù)主要用于存儲(chǔ)與環(huán)境數(shù)據(jù)有關(guān)的空間地理信息(包括點(diǎn)位信息、區(qū)域信息和邊界信息等),為環(huán)境數(shù)據(jù)分析結(jié)果的直觀展示提供支持。
3.2.3 環(huán)境數(shù)據(jù)邏輯性分析
采用知識(shí)圖譜技術(shù)對(duì)數(shù)據(jù)指標(biāo)間的共現(xiàn)關(guān)系進(jìn)行分析,構(gòu)建指標(biāo)項(xiàng)之間的邏輯關(guān)系。例如,對(duì)工業(yè)源企業(yè)的生產(chǎn)情況與廢水排放、生產(chǎn)情況與廢氣排放和生產(chǎn)情況與環(huán)境監(jiān)測(cè)數(shù)據(jù)之間的邏輯關(guān)系進(jìn)行分析,并結(jié)合現(xiàn)場(chǎng)實(shí)際生產(chǎn)數(shù)據(jù)進(jìn)行核實(shí)驗(yàn)證,多次調(diào)整優(yōu)化之后確定該邏輯關(guān)系的正確性。以該邏輯關(guān)系為依據(jù),對(duì)采集的環(huán)保數(shù)據(jù)進(jìn)行掃描,并標(biāo)記疑似有問(wèn)題的數(shù)據(jù),由工作人員進(jìn)行核對(duì)校正,進(jìn)一步提高入庫(kù)數(shù)據(jù)的規(guī)范性和邏輯一致性。
數(shù)據(jù)切分是指按某種切分規(guī)則將一個(gè)較大的表分成多個(gè)稱為“片段”的較小的表,主要有垂直切分、水平切分和結(jié)合這2種切分方式的混合切分等3種方式。在系統(tǒng)研發(fā)過(guò)程中,針對(duì)實(shí)時(shí)統(tǒng)計(jì)分析和展示時(shí)間過(guò)長(zhǎng)的問(wèn)題,通過(guò)引入數(shù)據(jù)切分技術(shù),提升數(shù)據(jù)處理能力,縮短查詢時(shí)間。根據(jù)環(huán)保數(shù)據(jù)管理要求和業(yè)務(wù)劃分情況,該系統(tǒng)采用水平切分方式:首先根據(jù)范圍切分算法,按業(yè)務(wù)對(duì)環(huán)境數(shù)據(jù)進(jìn)行分類;然后采用一致性哈希算法,將環(huán)境數(shù)據(jù)分別存入片段表中。
針對(duì)系統(tǒng)頁(yè)面上展示的統(tǒng)計(jì)分析數(shù)據(jù),使用定時(shí)任務(wù)進(jìn)行預(yù)處理和存儲(chǔ),即根據(jù)定時(shí)任務(wù)設(shè)置,提前對(duì)統(tǒng)計(jì)分析和展示的數(shù)據(jù)進(jìn)行預(yù)計(jì)算,提前將計(jì)算結(jié)果存入按小時(shí)、天統(tǒng)計(jì)的維度表中,前端直接從這些維度表中加載數(shù)據(jù)。以數(shù)據(jù)量為5 000萬(wàn)條的環(huán)境監(jiān)測(cè)數(shù)據(jù)查詢功能為例,通過(guò)應(yīng)用數(shù)據(jù)切分技術(shù)和數(shù)據(jù)預(yù)處理方法,平均加載時(shí)間由原來(lái)的100 s縮短到了1 s左右,有效解決了數(shù)據(jù)統(tǒng)計(jì)分析和展示時(shí)間較長(zhǎng)的問(wèn)題。
本文所述環(huán)保信息化系統(tǒng)基于全國(guó)第二次污染物普查數(shù)據(jù)、空間地理信息、排污許可證信息、污染源監(jiān)測(cè)數(shù)據(jù)、污染源監(jiān)管數(shù)據(jù)、環(huán)境質(zhì)量數(shù)據(jù)和環(huán)境規(guī)劃信息等多源異構(gòu)數(shù)據(jù)構(gòu)建,并根據(jù)這些數(shù)據(jù)的邏輯關(guān)系進(jìn)行信息融合;對(duì)手持終端獲取的GPS坐標(biāo)進(jìn)行轉(zhuǎn)換得到我國(guó)指定的加密坐標(biāo),采用WebGIS作為地圖展示技術(shù),提供污染源管理、環(huán)境質(zhì)量分析、水環(huán)境質(zhì)量智能預(yù)警和污染源處置能力評(píng)估、法律法規(guī)查閱學(xué)習(xí)等服務(wù)。該系統(tǒng)已在環(huán)保管理部門落地應(yīng)用,對(duì)促進(jìn)環(huán)保管理的專業(yè)化、精細(xì)化和智能化發(fā)展,進(jìn)一步提升環(huán)境管理效率和監(jiān)管水平,以及環(huán)保決策能力、生態(tài)環(huán)境治理水平和民生服務(wù)水平等,具有積極作用。