大氣環(huán)境監(jiān)測數(shù)據(jù)審核和分析系統(tǒng)的設(shè)計與實現(xiàn)

唐 菱,方若晨，李芙玲，李永飛

(1.華北科技學(xué)院，北京 東燕郊 101601;2.北京航空航天大學(xué)軟件學(xué)院,北京 100191)

大氣環(huán)境監(jiān)測數(shù)據(jù)審核和分析系統(tǒng)的設(shè)計與實現(xiàn)

唐 菱1,方若晨2，李芙玲1，李永飛1

(1.華北科技學(xué)院，北京 東燕郊 101601;2.北京航空航天大學(xué)軟件學(xué)院,北京 100191)

霧霾一度成為社會關(guān)注的環(huán)境污染問題，為了有效的治理霧霾，全國多個省市實現(xiàn)了空氣質(zhì)量自動監(jiān)測系統(tǒng)，對各項大氣參數(shù)值進行數(shù)據(jù)采集。本系統(tǒng)是對大氣環(huán)境監(jiān)測數(shù)據(jù)進行有效性、準(zhǔn)確性處理。利用數(shù)據(jù)統(tǒng)計分析方法對監(jiān)測數(shù)據(jù)進行異常數(shù)據(jù)審核和修訂。本系統(tǒng)采用JAVA開發(fā)，后臺數(shù)據(jù)存儲在Sql Server 2008的數(shù)據(jù)庫中。系統(tǒng)的實現(xiàn)不僅可以提高環(huán)境監(jiān)測中心工作人員的工作效率而且這些處理后的數(shù)據(jù)也是以后進行空氣質(zhì)量預(yù)測的數(shù)據(jù)基礎(chǔ)。

空氣質(zhì)量監(jiān)測；異常數(shù)據(jù)審核；數(shù)據(jù)統(tǒng)計分析

0 引言

18世紀(jì)60年代，英國發(fā)起了第一次工業(yè)革命，改變了世界的面貌，開創(chuàng)了以機器代替手工勞動的新時代。在接下來的幾百年中，人類從未停止過工業(yè)發(fā)展的腳步，工業(yè)化程度不斷提高，人類的生活水平和生活方式得到了很大程度的改變。然而隨著工業(yè)化程度的提高，各種工業(yè)污染被排放到自然界中，環(huán)境問題伴隨出現(xiàn)[1]。1952年的倫敦霧霾事件給世界人民敲了一個警鐘。到目前為止，霧霾的出現(xiàn)已經(jīng)給人們的日常生活帶來了重大的影響。因此對霧霾進行有效的監(jiān)管成為當(dāng)務(wù)之急[2]。

通過物聯(lián)網(wǎng)技術(shù)已經(jīng)實現(xiàn)了對空氣中參數(shù)濃度的監(jiān)測，據(jù)統(tǒng)計實時監(jiān)測的霧霾數(shù)據(jù)中大約存在0.95%～3.18%的異常數(shù)據(jù)[3]，這類數(shù)據(jù)嚴(yán)重影響到了整體數(shù)據(jù)的可用性，進而會直接影響基于霧霾監(jiān)測的大數(shù)據(jù)分析結(jié)果[4]。本系統(tǒng)就是通過與河北省環(huán)境監(jiān)測中心的合作，獲取霧霾監(jiān)測數(shù)據(jù)，展開對霧霾監(jiān)測數(shù)據(jù)的分析及有效性研究等相關(guān)工作，通過數(shù)據(jù)反演，及時發(fā)現(xiàn)并剔除異常不可用數(shù)據(jù)，保障監(jiān)測數(shù)據(jù)的真實有效。

1 需求分析

1.1 系統(tǒng)功能需求分析

本系統(tǒng)的主要功能是實現(xiàn)對實時監(jiān)測數(shù)據(jù)的分析處理，系統(tǒng)由數(shù)據(jù)審核、數(shù)據(jù)分析和系統(tǒng)管理三個模塊組成。數(shù)據(jù)審核模塊是系統(tǒng)主要的功能模塊，這一模塊需要實現(xiàn)監(jiān)測數(shù)據(jù)的實時預(yù)警、異常數(shù)據(jù)的查詢、異常數(shù)據(jù)人工審核等功能。數(shù)據(jù)分析模塊通過曲線圖直觀的比較各個參數(shù)值，輔助審核人員選取出一個準(zhǔn)確的值對異常數(shù)據(jù)值進行修訂，涉及到的功能模塊有：同一節(jié)點不同參數(shù)值的對比，同區(qū)域內(nèi)相同參數(shù)值的對比，以及單一參數(shù)前后值的變化趨勢對比。系統(tǒng)管理模塊包括異常數(shù)據(jù)審核標(biāo)準(zhǔn)的修改、鄰居節(jié)點設(shè)置和系統(tǒng)管理員設(shè)置三個模塊。

1.2 異常數(shù)據(jù)審核標(biāo)準(zhǔn)說明

對于一個大氣環(huán)境監(jiān)測數(shù)據(jù)審核和分析系統(tǒng)來說，異常數(shù)據(jù)審核標(biāo)準(zhǔn)設(shè)置是否合理、準(zhǔn)確將直接關(guān)系到異常數(shù)據(jù)審核結(jié)果的準(zhǔn)確性。本系統(tǒng)中一共設(shè)計了八種異常數(shù)據(jù)類型，包括參數(shù)連續(xù)(值為0)的異常、參數(shù)連續(xù)(值不為0)的異常、空數(shù)據(jù)異常、倒掛異常、超界異常、關(guān)聯(lián)異常、數(shù)據(jù)缺失異常、偏差異常。每一種異常類型都對應(yīng)監(jiān)測數(shù)據(jù)中可能出現(xiàn)的一類異常不可用數(shù)據(jù)。表1給出了每一種異常類型的含義。

表1 異常類型說明

每個異常類型針對不同的參數(shù)對應(yīng)有不同的審核標(biāo)準(zhǔn)。系統(tǒng)設(shè)置的8種異常類型中，有一些異常數(shù)據(jù)的審核標(biāo)準(zhǔn)是與外界條件有關(guān)的，例如關(guān)聯(lián)異常，在一般情況下我們認(rèn)為PM2.5的值與區(qū)域內(nèi)其他節(jié)點比較偏差超過15%就屬于異常數(shù)據(jù)，但是可能在冬季污染物濃度較高的時候PM2.5的值也相對較高，偏差超過15%也屬于正常數(shù)據(jù)，所以為了提高審核結(jié)果的準(zhǔn)確性就必須根據(jù)外界條件來改變異常數(shù)據(jù)審核標(biāo)準(zhǔn)。表2中給出了本系統(tǒng)初始時1～4、6～8號異常類型的審核標(biāo)準(zhǔn)的設(shè)計說明，5號超界異常是每個參數(shù)值的范圍，在表3給出詳細(xì)說明。

表2 異常審核標(biāo)準(zhǔn)

續(xù)表

表3 超界異常審核標(biāo)準(zhǔn)

2 總體設(shè)計

2.1 系統(tǒng)總體功能模塊設(shè)計

根據(jù)系統(tǒng)的功能需求分析可知系統(tǒng)一共包括三個主要的功能模塊：系統(tǒng)管理模塊、數(shù)據(jù)審核模塊和數(shù)據(jù)分析模塊，畫出系統(tǒng)的總體功能模塊圖如圖1。

圖1 系統(tǒng)功能模塊圖

2.2 系統(tǒng)數(shù)據(jù)庫設(shè)計

通過系統(tǒng)的需求分析可知，系統(tǒng)一共包含原始數(shù)據(jù)、實時異常數(shù)據(jù)、實時非異常數(shù)據(jù)、臨時數(shù)據(jù)、修正日志、報警信息、結(jié)果數(shù)據(jù)、鄰居節(jié)點信息等實體。畫出系統(tǒng)的E_R圖如下圖2[5]。

3 系統(tǒng)詳細(xì)設(shè)計與實現(xiàn)

3.1 數(shù)據(jù)審核模塊設(shè)計與實現(xiàn)

數(shù)據(jù)審核模塊是本系統(tǒng)最重要的一個模塊，通過前面的詳細(xì)設(shè)計可以知道，本模塊是由實時數(shù)據(jù)預(yù)警，異常數(shù)據(jù)查詢和異常數(shù)據(jù)人工審核三個模塊組成。

3.1.1 實時數(shù)據(jù)預(yù)警

實時數(shù)據(jù)預(yù)警是在服務(wù)器端接收到新的監(jiān)測數(shù)據(jù)時就會自動進行實時數(shù)據(jù)審核，將原始數(shù)據(jù)處理成實時異常數(shù)據(jù)和實時非異常數(shù)據(jù)存儲在數(shù)據(jù)庫中。我們經(jīng)常使用的http協(xié)議由于具有無狀態(tài)性、被動性和不持續(xù)性的特點，所以服務(wù)器端只能被動的等待客服端發(fā)送請求，不能夠主動的向客戶端發(fā)送請求，這一點不能滿足實時數(shù)據(jù)審核時的要求[6]。系統(tǒng)在實現(xiàn)這個功能模塊的時候使用了WebSocket協(xié)議。WebSocket協(xié)議是在http協(xié)議的基礎(chǔ)上發(fā)展來的，部分?jǐn)?shù)據(jù)通信時的握手協(xié)議是一樣的，他們兩者之間的關(guān)系如圖3。WebSocket只需要一次建立連接就可以一直保持與客服端的通信，服務(wù)器端可以主動發(fā)送數(shù)據(jù)[7]。

圖2 系統(tǒng)E_R圖

圖3 WebSocket與Http的關(guān)系

3.1.2 人工異常數(shù)據(jù)審核

人工異常數(shù)據(jù)審核是對實時審核得到的實時異常數(shù)據(jù)進行處理，將異常數(shù)據(jù)修訂成正確的數(shù)據(jù)。異常數(shù)據(jù)進行人工審核的時候，需要將實時異常數(shù)據(jù)在界面上顯示出來，界面顯示的時候用到了ligerUI框架對數(shù)據(jù)進行展示。LigerUI 是基于jQuery 的UI框架，具有使用簡單、功能強大、輕量級、易擴展、開源等特點，還具有不錯的grid表格處理能力，可以根據(jù)系統(tǒng)的需要設(shè)置出不同的grid表格，可以自動實現(xiàn)表格的分頁顯示，表格數(shù)據(jù)修改等。界面實現(xiàn)效果如圖4。

圖4 異常數(shù)據(jù)顯示界面

根據(jù)參數(shù)值對異常數(shù)據(jù)進行人工數(shù)據(jù)審核有系統(tǒng)值替換和自定義輸入兩種修訂方式。界面實現(xiàn)效果如圖5。

3.2 系統(tǒng)管理模塊設(shè)計

系統(tǒng)管理模塊包括需要實現(xiàn)三個功能模塊，異常數(shù)據(jù)審核標(biāo)準(zhǔn)的修改、鄰居節(jié)點的設(shè)置和管理員的設(shè)置。

圖5 異常數(shù)據(jù)修改

3.2.1 鄰居節(jié)點設(shè)置

鄰居節(jié)點的設(shè)置模塊需要實現(xiàn)鄰居節(jié)點的添加和刪除。為了讓鄰居節(jié)點的設(shè)置能夠及時迅速的作出反應(yīng)，本頁面在實現(xiàn)的時候使用了AJAX技術(shù)。最終界面實現(xiàn)效果如圖6。

3.2.2 審核標(biāo)準(zhǔn)修改

審核標(biāo)準(zhǔn)的修改，主要是對關(guān)聯(lián)異常、參數(shù)連續(xù)(值為0)的異常、參數(shù)連續(xù)(值不為0)的異常、與鄰近節(jié)點偏差異常和超界異常5中異常審核標(biāo)準(zhǔn)進行修改。其中前四種異常就一個數(shù)據(jù)可以修改，所以在第一個界面中進行修改，超界異常需要修改的值較多，再開一個頁面單獨顯示。實現(xiàn)效果如圖7。

圖6 鄰居節(jié)點設(shè)置

圖7 異常審核標(biāo)準(zhǔn)修改

3.3 數(shù)據(jù)分析模塊設(shè)計

數(shù)據(jù)分析模塊需要實現(xiàn)同一參數(shù)前后值變化趨勢的對比、同一節(jié)點不同參數(shù)值的對比，以及不同區(qū)域相同參數(shù)值的對比。該功能的實現(xiàn)邏輯比較簡單，從數(shù)據(jù)庫中查找出滿足條件的數(shù)據(jù)處理成csv文件保存，讓后利用Dygraphs框架在界面顯示出來。Dygraphs是一個開源的Javascript庫，它可以幫助實現(xiàn)產(chǎn)生一些可交互式的，可縮放的曲線表，可以用來顯示像本系統(tǒng)中這樣的大密度的數(shù)據(jù)集，讓用戶直接瀏覽和解釋這個曲線圖[8]。界面實現(xiàn)效果如圖8。

圖8 參數(shù)對比分析曲線圖

4 結(jié)論

本系統(tǒng)根據(jù)需求分析實現(xiàn)了所有的功能模塊設(shè)計，滿足環(huán)境監(jiān)測中心的實際使用需求，能夠?qū)崟r監(jiān)測數(shù)據(jù)進行有效性處理分析，保證了監(jiān)測數(shù)據(jù)的真實可用。處理之后得到的準(zhǔn)確的監(jiān)測數(shù)據(jù)是空氣質(zhì)量預(yù)測準(zhǔn)確性的前提，以后可以利用結(jié)果數(shù)據(jù)進行大數(shù)據(jù)研究分析，對空氣質(zhì)量進行及時準(zhǔn)確的預(yù)測以及分析制定出合理有效的霧霾監(jiān)管方案。

[1] 王斌華，趙明.美國環(huán)境監(jiān)測一百年歷史回顧及其借鑒[D].環(huán)境監(jiān)測管理與技術(shù),2010.

[2] 蔣彪，汪欣欣.霧霾天氣的形成原因，危害及應(yīng)對措施[J].農(nóng)業(yè)氣象，2014-10(01):1-5.

[3] 中國科學(xué)院大氣物理研究所，中國環(huán)境監(jiān)測總站.區(qū)域環(huán)境空氣質(zhì)量業(yè)務(wù)預(yù)報平臺設(shè)計[M].北京：中國環(huán)境出版社，2015.

[4] 劉芳，王瑞斌，李鋼.中國環(huán)境空氣質(zhì)量監(jiān)測現(xiàn)狀和發(fā)展[J].中國環(huán)境監(jiān)測，2004,20(02):5-9.

[5] 王珊，薩師煊.數(shù)據(jù)庫系統(tǒng)概論[M].北京：高等教育出版社，2006.

[6] (美)古爾利.HTTP權(quán)威指南[M].北京：人民郵電出版社，2012.

[7] (美) Danny Coward.Java WebSocket編程 開發(fā) 部署和保護動態(tài)Web應(yīng)用[M].北京：清華大學(xué)出版社，2015.

[8] 徐文鵬.計算機圖形學(xué)基礎(chǔ)[M].北京：清華大學(xué)出版社，2014.

Development of atmospheric environmental monitoring data audit and analysis system

(TANG Ling1,FANG Ruo-chen2,LI Fu-ling1,LI Yong-fei1)

(1.NorthChinaInstituteofScienceandTechnology,Yanjiao,101601,China;2.SchoolofSaftware,BeihangUniversityBeijing,100191,China)

Haze became a social focus on the environmental pollution problem,in order to effective governance haze,several provinces and cities air quality automatic monitoring system is established,and collect concentration of the atmospheric parameters.This system is to validity,accuracy processing of atmospheric environmental monitoring data.Using the method of statistical analysis was carried out on the monitoring data of abnormal data review and revision.This system USES JAVA development,the background data is stored in Sql Server 2008 database.The realization of the system not only can improve the work efficiency of the environmental monitoring center staff and the processed data are air quality forecast data base in the future.

air quality monitoring；abnormal data review; data statistics and analysis

2016-06-08

國家自然科學(xué)基金(61472137)， 中央高校基本科研業(yè)務(wù)費專項資金(3142015022),河北省物聯(lián)網(wǎng)工程中心重點研發(fā)計劃項目(16273904D)，青海省重點研發(fā)項目(2016-SF-130)

唐菱(1994-)，女，四川遂寧人，大學(xué)畢業(yè)，研究方向：軟件開發(fā)。E-mail：1195931901@qq.com

TP274

A

1672-7169(2016)04-0096-06