基于實況氣象服務產(chǎn)品的數(shù)據(jù)質(zhì)量控制方法研究

基于實況氣象服務產(chǎn)品的數(shù)據(jù)質(zhì)量控制方法研究

在如今資訊等手段迅猛發(fā)展的今天，各種氣象服務產(chǎn)品應運而生，我們可以有更好的條件，自如的應用自動控制和人機交互、 利用氣候背景資料和程序編譯等技術， 并適當結合自身所在區(qū)域與氣象相關服務產(chǎn)品需求， 來設計所在區(qū)域的氣象數(shù)據(jù)質(zhì)量控制方法。

基于產(chǎn)品的數(shù)據(jù)需求分析

為“我的沈陽”應用提供實況數(shù)據(jù)

由沈陽市大數(shù)據(jù)局主導開發(fā)“我的沈陽”主要應用于便民服務，是重要的民生工程。沈陽市氣象局為“我的沈陽”提供氣象實況數(shù)據(jù)，對外提供的實況數(shù)據(jù)應進行質(zhì)量控制。主要數(shù)據(jù)質(zhì)量控制要素為地面溫度、壓強、濕度、氣壓、風向、風速。

氣象數(shù)據(jù)的社會化運營

通過2015年初李克強總理講話，貫徹“互聯(lián)網(wǎng)+”戰(zhàn)略將逐步開放氣象數(shù)據(jù)，提供氣象數(shù)據(jù)的社會化運營，自動站數(shù)據(jù)是其中一個組成部分，地面自動站六要素中環(huán)境溫度、氣壓、環(huán)境濕度、風向、風速、降雨量等要素作為對外開放的數(shù)據(jù)需要先進行數(shù)據(jù)質(zhì)量控制，為氣象、水文、農(nóng)林、航空、海洋、科考等領域提供氣象數(shù)據(jù)支撐。

自動預警產(chǎn)品發(fā)布

沈陽自動預警發(fā)布手段將進一步整合廣播、電視、報刊、互聯(lián)網(wǎng)、微博、手機短信、智能終端、電子顯示屏等信息發(fā)布渠道，不斷提升信息發(fā)布的能力，使得各類重要預警信息能在第一時間發(fā)送至公眾手中，最大限度地降低突發(fā)事件造成的損失，提高政府應對突發(fā)事件和風險的能力，因此確保自動預警發(fā)布平臺為全市各類突發(fā)事件預警信息發(fā)布提供權威、有效的綜合平臺尤為重要。自動的預警產(chǎn)品發(fā)布需要有實況數(shù)據(jù)為基礎，如出現(xiàn)錯誤的實況數(shù)據(jù)很有可能觸發(fā)預警判斷條件，進而影響自動預警產(chǎn)品發(fā)布的準確性。因此通過對實況數(shù)據(jù)進行質(zhì)量控制可提高自動預警產(chǎn)品發(fā)布準確性。

質(zhì)量控制方法

主要方法

在質(zhì)量控制方法上主要采取效果較好的傳統(tǒng)方法，主要為設置質(zhì)量控制碼，通過極值檢查、時變檢查、時間一致性檢查、空間一致性檢查，內(nèi)部一致性等方法，將其編譯成程序語句來對數(shù)據(jù)庫進行數(shù)據(jù)篩選，主要流程如下。

功能設計與實現(xiàn)

資源分析

沈陽市氣象局“基礎數(shù)據(jù)平臺”數(shù)據(jù)庫使用Oracle DataBase 11G 數(shù)據(jù)庫系統(tǒng)，沈陽市已有的230個自動站數(shù)據(jù)保存在其中，也可作為系統(tǒng)支撐數(shù)據(jù)庫使用。系統(tǒng)采用Oracle JDeveloper Studio 工具，主要開發(fā)語言為JAVA是由Oracle提供快速程序開發(fā)工具系統(tǒng)，針對Oracle數(shù)據(jù)的開發(fā)具有較強優(yōu)勢。

數(shù)據(jù)層設計

系統(tǒng)使用沈陽市氣象局“基礎數(shù)據(jù)平臺”數(shù)據(jù)庫，質(zhì)量控制可能包括數(shù)據(jù)的修改、刪除、和歷史數(shù)據(jù)保存操作。采集的實況數(shù)據(jù)應分別保存在2個表中，一個用于長期保存數(shù)據(jù)，另一個用于應用開發(fā)顯示讀取。新建自動站數(shù)據(jù)表用于保存歷史數(shù)據(jù)。對于質(zhì)量異常數(shù)據(jù)應進行修改或刪除的操作，但僅限于對用于應用開發(fā)的數(shù)據(jù)表，歷史數(shù)據(jù)表應確保不做修改，但設計歷史數(shù)據(jù)統(tǒng)計是也需要參考質(zhì)量控制結果。系統(tǒng)設計數(shù)據(jù)質(zhì)量控制表用于校對歷史數(shù)據(jù)表中數(shù)據(jù)，質(zhì)量控制表通過站點編號、觀測時效與歷史數(shù)據(jù)相關聯(lián)，查詢歷史數(shù)據(jù)是通過對應查詢語法可剔除或更正質(zhì)量不合格數(shù)據(jù)。

一些特殊情況下會出現(xiàn)由于設備和系統(tǒng)導致的數(shù)據(jù)質(zhì)量問題。例如，出現(xiàn)“///”占位符和“9999”的情況，還有出現(xiàn)溫度出現(xiàn)-60℃或60℃，等一些明顯可判斷為異常的值。應通過設計Oracle響應機制在入庫的同時即完成初步數(shù)據(jù)質(zhì)量控制。系統(tǒng)通過建立觸發(fā)器并調(diào)用Oracle sql/plsql塊完成數(shù)據(jù)處理。新建基于寫入數(shù)據(jù)的觸發(fā)器用于調(diào)用sql/ plsql塊

圖1　基于產(chǎn)品的數(shù)據(jù)質(zhì)量控制流程

應用層設計

系統(tǒng)由界面層 、核心層 、存儲層 3 個部分組成 。界面層由繪圖用戶界面組成， 用戶使用人工QC 圖形交互或Web 瀏覽 ； 核心層由運算法則、Java代碼、 分析設計模式組成； 存儲層由 Oracle 數(shù)據(jù)庫構成， 包括臺站和儀器詳細信息、QC 標識 、錯誤信息等 。

圖2　數(shù)據(jù)庫質(zhì)量控制判定流程

應用層采用Oracle JDeveloper Studio 工具，主要開發(fā)語言為JAVA是由Oracle提供快速程序開發(fā)工具系統(tǒng)，針對Oracle數(shù)據(jù)的開發(fā)具有較強優(yōu)勢。

系統(tǒng)支撐架構設計

使用B/S實現(xiàn)開發(fā)支撐架構，主要實現(xiàn)功能：①任務運行管理模塊，使用JAVA開發(fā)數(shù)據(jù)質(zhì)量控制部分進行任務的調(diào)度管理、狀態(tài)監(jiān)督、參數(shù)配置；②綜合數(shù)據(jù)管理模塊，完成支撐數(shù)據(jù)功能③質(zhì)量控制模塊，完成極值檢查模塊、時間一致性模塊、空間一致性模塊、內(nèi)部一致性模塊開發(fā)。④系統(tǒng)管理模塊，實現(xiàn)權限及日志等管理功能；使用B/S結構實現(xiàn)開發(fā)數(shù)據(jù)的修改和補入界面，用于修改和補入實況數(shù)據(jù)。

結語

實況氣象數(shù)據(jù)的質(zhì)量控制是關系到氣象資料應用的基礎，也是數(shù)據(jù)社會化運營的關鍵一步，本文實現(xiàn)基于產(chǎn)品的自動氣象站實時資料質(zhì)量控制系統(tǒng)設計能夠實時對中心站收集的逐小時觀測數(shù)據(jù)進行質(zhì)量控制，主要方法是通過極值檢查、時間一致性、空間一致性和內(nèi)部一致性檢查觀測數(shù)據(jù)質(zhì)量，并應用Oracle DataBase 11G 數(shù)據(jù)庫系統(tǒng)建立環(huán)境，應用JAVA語言建立應用模塊，在時間一致性上采用相鄰小時一致性檢查和時變檢查控制方法，空間一致性采用了克里金差值法，在氣象要素超出時間一致性規(guī)則時，通過內(nèi)部一致性相關聯(lián)的數(shù)據(jù)序列對異常值進行估算，并進而判別異常值的可信度，質(zhì)量控制貫穿在整個數(shù)據(jù)采集到可作為產(chǎn)品提供氣象參數(shù)的整個過程中，加強了對觀測數(shù)據(jù)的質(zhì)量控制。

10.3969/j.issn.1001- 8972.2016.15.021