海濱觀測數(shù)據(jù)前端質(zhì)控中對異常值的識別檢驗(yàn)

【摘要】 海濱觀測資料的前端質(zhì)量控制，不涉及控制符，可以根據(jù)萊茵達(dá)準(zhǔn)則和肖維勒準(zhǔn)則判斷數(shù)據(jù)異常的真正原因，區(qū)分出含有過失誤差的異常值以及因周邊海況變化導(dǎo)致的正確異常值。本文在水文氣象自動(dòng)觀測系統(tǒng)配備的計(jì)算機(jī)質(zhì)量自動(dòng)控制的基礎(chǔ)上，優(yōu)化設(shè)置各要素的測量范圍，通過報(bào)警短信的模式發(fā)現(xiàn)異常數(shù)據(jù)，挑出非誤差產(chǎn)生而是因環(huán)境變化造成的正確異常數(shù)據(jù)，從而確定出海洋站的水文氣象要素?cái)?shù)據(jù)合理性檢驗(yàn)值。

【關(guān)鍵詞】 實(shí)時(shí)觀測數(shù)據(jù)；前端質(zhì)控；異常值；識別；檢驗(yàn)值

1、引 言

觀測資料數(shù)據(jù)文件質(zhì)量控制根據(jù)數(shù)據(jù)傳輸節(jié)點(diǎn)，實(shí)行“海洋站-中心站-海區(qū)信息中心-國家海洋信息中心”四級質(zhì)控體系，分成前端質(zhì)控和后端質(zhì)控兩個(gè)階段。前端質(zhì)控的內(nèi)容是是在計(jì)算機(jī)錄入前的預(yù)審，對錯(cuò)誤或可疑記錄進(jìn)行查詢、修改和處理，以及在計(jì)算機(jī)錄入或轉(zhuǎn)換過程中進(jìn)行計(jì)算機(jī)自動(dòng)質(zhì)量控制。

這些數(shù)據(jù)采集錄入計(jì)算機(jī)后首先需經(jīng)過計(jì)算機(jī)自動(dòng)質(zhì)量控制（自診斷）。質(zhì)量控制的結(jié)果不是改變或簡單剔除數(shù)據(jù)，而是通過質(zhì)量控制，實(shí)事求是地反應(yīng)真實(shí)情況。雖然計(jì)算的“自診斷技術(shù)”可以剔除一部分“錯(cuò)誤”數(shù)據(jù)以達(dá)到數(shù)據(jù)質(zhì)量控制的前端處理（前端質(zhì)控），但是不可能解決數(shù)據(jù)前端處理的所有質(zhì)量問題。與機(jī)器故障有關(guān)的異常數(shù)據(jù)固然是錯(cuò)誤數(shù)據(jù)可以被剔除。然而，對一些特殊情況如周邊環(huán)境的新變化導(dǎo)致該海域海洋環(huán)境的變化，從而造成數(shù)據(jù)與以往的歷史數(shù)據(jù)不同，這些情況產(chǎn)生的異常數(shù)據(jù)也許并非是錯(cuò)誤數(shù)據(jù)，而恰恰是有可能成為有價(jià)值的數(shù)據(jù)，這是需要技術(shù)人員進(jìn)行判斷后再做處理的。這些數(shù)據(jù)如果在海洋站-中心站沒有及時(shí)發(fā)現(xiàn)，在海區(qū)級或國家級質(zhì)量控制中發(fā)現(xiàn)時(shí)，技術(shù)人員很難重現(xiàn)當(dāng)時(shí)的環(huán)境找尋答案并加以判斷。

2、設(shè)計(jì)實(shí)現(xiàn)

2.1 整體思路

在自動(dòng)觀測系統(tǒng)配備的計(jì)算機(jī)自動(dòng)質(zhì)量控制技術(shù)上（自動(dòng)控制），利用質(zhì)量檢查模塊和人機(jī)互動(dòng)的方式研究判斷數(shù)據(jù)異常的真正情況（是機(jī)器異常抑或是海域周邊環(huán)境變化導(dǎo)致的結(jié)果），從而重新界定測量范圍，確定出特定環(huán)境變化下水文氣象各要素?cái)?shù)據(jù)合理性檢驗(yàn)值，有效地防止遺漏有價(jià)值的數(shù)據(jù)。

2.2 選取測量范圍

精準(zhǔn)、恰當(dāng)?shù)剡x取要素測量范圍，才能確定出數(shù)據(jù)合理性檢驗(yàn)值。如果上下界限設(shè)置太大，就變成要素允許方位檢查。如果范圍過小就會(huì)出現(xiàn)誤檢現(xiàn)象。因此，參照工程設(shè)計(jì)中極值方法提取要素設(shè)計(jì)值的置信區(qū)間的上下限作為要素極值的上下界值。

具體分成兩步驟實(shí)施：

第一步：保留計(jì)算機(jī)的自動(dòng)質(zhì)控技術(shù)的非法碼、合理性、唯一性檢驗(yàn)方法完成第一步質(zhì)控：促發(fā)短信報(bào)警，判斷是對規(guī)定的類型、格式、代碼不符合的數(shù)據(jù)，直接進(jìn)行改正。

第二部：增加極值的概念，將范圍檢驗(yàn)、相關(guān)性檢驗(yàn)方法引入到海濱觀測資料中異常數(shù)據(jù)的判別方法和處理上來。

該步驟中，數(shù)據(jù)質(zhì)量檢查模塊通過“范圍檢驗(yàn)、相關(guān)性檢驗(yàn)方法”檢查出超出原有測量范圍的異常數(shù)據(jù)。這些異常數(shù)據(jù)通過短信報(bào)警及時(shí)發(fā)現(xiàn)，并顯示在計(jì)算機(jī)可視化窗口上，然后通過人機(jī)互動(dòng)方式，根據(jù)萊茵達(dá)準(zhǔn)則和肖維勒準(zhǔn)則進(jìn)行判斷，具體如下：

如觀測值中含有隨機(jī)誤差，當(dāng) N 足夠大的時(shí)候，剩余誤差服從正態(tài)分布。萊因達(dá)準(zhǔn)則規(guī)定凡是剩余誤差超出±3σ，即 | Vi |>3σ則認(rèn)為該剩余誤差Vi 為過失誤差；

肖維勒準(zhǔn)則：當(dāng)樣本的觀測次數(shù) N 較少時(shí)，若出現(xiàn)概率小于或等于1/2N的剩余誤差，則認(rèn)為是過失誤差。過失誤差判別公式為下式：

| Vi |>Zgσ

用 Vi 的標(biāo)準(zhǔn)差 S 代替 σ，Zg可從標(biāo)準(zhǔn)正態(tài)分布表查出。

3、數(shù)據(jù)處理

a）對于過失誤差的異常值，根據(jù)《海濱觀測規(guī)范》的要求在資料的質(zhì)控中加以標(biāo)識或刪除，留待后端質(zhì)控上加以判斷處理；

b）對判斷出有可能因海況急劇變化造成的異常數(shù)據(jù)，短信呈現(xiàn)給海洋站值班員進(jìn)行實(shí)地考察核實(shí)，核實(shí)確認(rèn)清楚后將正確的異常數(shù)據(jù)更正為正確值，并且在原有區(qū)間下參照統(tǒng)計(jì)學(xué)計(jì)算置信區(qū)間的方法，重新界定測量范圍上下限極值——也就是測量范圍（區(qū)間），然后將要素極值用乘以；一個(gè)放大系統(tǒng)代替通過概率分布函數(shù)推求的極值。計(jì)算公式如下：

其中Ei+ Ei- 分別代表各要素第i月的上下界值； Emax，i Emin，i分別為第i月各要素從建站到所測年份的最大最小值，a 為范圍放大因子，與要素的變率有關(guān)；σ為要素的標(biāo)準(zhǔn)差， 分別表示向上和向下取整。從而確定出特定環(huán)境變化下該海洋站潮汐、風(fēng)要素?cái)?shù)據(jù)合理性檢驗(yàn)值。

參考文獻(xiàn)：

[1].海洋水文氣象實(shí)時(shí)數(shù)據(jù)質(zhì)量控制

[2].王海軍，楊志彪等. 自動(dòng)氣象站實(shí)時(shí)資料自動(dòng)質(zhì)量控制方法及其應(yīng)用