海洋站數(shù)據(jù)質(zhì)量控制技術(shù)探討

史靜濤，周智海

（國(guó)家海洋技術(shù)中心，天津300112）

海洋站數(shù)據(jù)質(zhì)量控制技術(shù)探討

史靜濤，周智海

（國(guó)家海洋技術(shù)中心，天津300112）

介紹了幾種常用的數(shù)據(jù)質(zhì)量控制方法，并分析了這些方法的使用條件；初步分析了海洋站數(shù)據(jù)質(zhì)量控制過(guò)程；針對(duì)海洋站數(shù)據(jù)特點(diǎn)，對(duì)某一海洋站某月逐時(shí)數(shù)據(jù)分別采用3δ檢驗(yàn)法和格拉布斯檢驗(yàn)法進(jìn)行整體檢驗(yàn)和分組檢驗(yàn)，并采用曲線擬合手段表現(xiàn)質(zhì)量控制結(jié)果。結(jié)果表明，對(duì)海洋站數(shù)據(jù)進(jìn)行質(zhì)量控制以后，數(shù)據(jù)質(zhì)量得到了明顯提高，同時(shí)也顯示出對(duì)數(shù)據(jù)進(jìn)行分組檢驗(yàn)的必要性。

質(zhì)量控制過(guò)程；3δ檢驗(yàn)法；格拉布斯檢驗(yàn)法；曲線擬合；分組檢驗(yàn)

隨著國(guó)家對(duì)海洋環(huán)境的重視，人們也認(rèn)識(shí)到海洋站數(shù)據(jù)質(zhì)量提高的重要性，數(shù)據(jù)質(zhì)量需要數(shù)據(jù)質(zhì)量控制才能提高。目前，數(shù)據(jù)質(zhì)量控制主要是實(shí)時(shí)數(shù)據(jù)質(zhì)量控制和延時(shí)數(shù)據(jù)質(zhì)量控制兩種。實(shí)時(shí)數(shù)據(jù)質(zhì)量控制是延時(shí)數(shù)據(jù)質(zhì)量控制的基礎(chǔ)，實(shí)時(shí)數(shù)據(jù)質(zhì)量控制做得好就能減輕延時(shí)數(shù)據(jù)質(zhì)量控制的工作。兩種數(shù)據(jù)質(zhì)量控制所控制的數(shù)據(jù)有一定的差別，所以采取的數(shù)據(jù)質(zhì)量控制方法也不同，然而這兩種數(shù)據(jù)質(zhì)量控制過(guò)程基本上是一致的。

本文首先探討了常用的數(shù)據(jù)質(zhì)量控制方法，其次針對(duì)海洋站以及其數(shù)據(jù)特點(diǎn)初步分析了其數(shù)據(jù)質(zhì)量控制過(guò)程，最后通過(guò)案例來(lái)了解具體的海洋站數(shù)據(jù)質(zhì)量控制過(guò)程。

1 幾種數(shù)據(jù)質(zhì)量控制方法簡(jiǎn)介

數(shù)據(jù)質(zhì)量控制方法的研究是數(shù)據(jù)質(zhì)量控制的重點(diǎn)，控制方法的好壞直接影響到數(shù)據(jù)質(zhì)量。目前，數(shù)據(jù)質(zhì)量控制經(jīng)常用的方法有極值控制、萊茵達(dá)檢驗(yàn)法、狄克遜檢驗(yàn)法、格拉布斯檢驗(yàn)法以及Cochran檢驗(yàn)法等。

1.1 極值控制方法

極值控制方法是根據(jù)各種海洋環(huán)境要素的物理特性、統(tǒng)計(jì)經(jīng)驗(yàn)給定各個(gè)要素的極大值和極小值。極值控制是普遍采用、簡(jiǎn)單有效的方法，能夠有效地檢驗(yàn)出極端異常的數(shù)據(jù)。然而極值控制方法不能很好地檢驗(yàn)?zāi)切┎町惒皇呛艽蟮漠惓?shù)據(jù)，這就需要更加精準(zhǔn)的控制方法來(lái)控制。

1.2 3δ檢驗(yàn)法[1]

3δ檢驗(yàn)法又稱萊因達(dá)檢驗(yàn)法。根據(jù)誤差理論，一般情況下隨機(jī)誤差δ服從正態(tài)分布。δ為標(biāo)準(zhǔn)差，一般是未知的，通常用貝塞爾公式算得S代替δ，以xˉ代替真值。

xi為觀測(cè)值，i=1，2，…，N

對(duì)某個(gè)觀測(cè)數(shù)據(jù) xi，若其殘差 vi滿足 vi=|xi－xˉ|＞3S，i=1,2，…，N，則xi可疑，應(yīng)該標(biāo)記異常值。

1.3 狄克遜（Dixon）檢驗(yàn)法[1-3]

狄克遜準(zhǔn)則有一假定條件，那就是設(shè)定觀測(cè)數(shù)據(jù)總體是正態(tài)分布的，取1個(gè)樣本x1,x2，…，xn，將觀測(cè)數(shù)據(jù)按大小順序排列為x'1≤x'2≤x'3≤…≤x'n,檢驗(yàn)高端值和低端值是否異常有如下4種方法：

以上的 r10，r'10，r11，r'11，r21，r'21，r22，r'22簡(jiǎn)記為 rij和 r'ij。狄克遜導(dǎo)出了它們的概率密度函數(shù)。選定顯著性水平α，求得臨界值 D（α,n）。

若 rij＞r'ij，rij＞D(α,n)則判斷 x'n為異常值；若 rij＜r'ij，r'ij＞D(α,n)則判斷x'1為異常值；否則判斷沒(méi)有異常值。

狄克遜認(rèn)為對(duì)不同的測(cè)量次數(shù)或不同的數(shù)據(jù)量，應(yīng)選用不同的統(tǒng)計(jì)。狄克遜方法本身說(shuō)明該方法適合數(shù)據(jù)量比較少的情況，對(duì)于數(shù)據(jù)量比較大的數(shù)據(jù)一般采用其他方法；而且這種方法公式比較多，判別過(guò)程相對(duì)比較繁瑣。

1.4 格拉布斯檢驗(yàn)法[1－3](Grubbs)

格拉布斯準(zhǔn)則是根據(jù)順序統(tǒng)計(jì)量的某種分布規(guī)律提出的一種判別標(biāo)準(zhǔn)。

設(shè)定一個(gè)正態(tài)獨(dú)立測(cè)量的樣本x1，x2，…，xn，對(duì)其中的一個(gè)可疑數(shù)據(jù)xi（它與ˉ的殘差絕對(duì)值最大），構(gòu)造統(tǒng)計(jì)量為為樣本的平均值，S按公式（2）計(jì)算。 格拉布斯導(dǎo)出了它的理論分布。選定顯著性水平α，α通常取0.05或0.01,求得按下式意義的臨界值G(α，n)。

1.5 Cochran 檢驗(yàn)法[1－3]

設(shè)有 L 組數(shù)據(jù)，每組測(cè)定 n 次，標(biāo)準(zhǔn)差 S1，S2，…，SL都由公式（2）得到；

（a）將L個(gè)標(biāo)準(zhǔn)差按大小順序排列，最大值記為Smax；

如果n=2,即每組只有兩次測(cè)定時(shí)，各組內(nèi)差值分別為R1，R2，…，RL，則要按如下公式計(jì)算 C：

（10）

（c）根據(jù)選定的顯著水平α、組數(shù)L、測(cè)定次數(shù)n確定臨界值 Cα；

（d）若 C＞Cα，則判斷 Smax為異常值，其對(duì)應(yīng)的那組數(shù)據(jù)異?；蛘弋?dāng)中存在異常值。

Cochran檢驗(yàn)法檢驗(yàn)完成以后還需要對(duì)有異常數(shù)據(jù)的那組數(shù)據(jù)采用其他的質(zhì)量控制方法，所以這種方法適用于數(shù)據(jù)量比較大的數(shù)據(jù)。

2 海洋站數(shù)據(jù)質(zhì)量控制過(guò)程

根據(jù)海洋站觀測(cè)平臺(tái)的實(shí)際觀測(cè)，數(shù)據(jù)質(zhì)量控制過(guò)程可以分為數(shù)據(jù)采集與傳送、數(shù)據(jù)轉(zhuǎn)化、根據(jù)采集到的數(shù)據(jù)特點(diǎn)對(duì)數(shù)據(jù)質(zhì)量控制方法的選擇和處理，以及數(shù)據(jù)質(zhì)量控制結(jié)果的顯示及存儲(chǔ)等。數(shù)據(jù)質(zhì)量控制過(guò)程圖如圖1所示。

圖1 數(shù)據(jù)質(zhì)量控制過(guò)程圖

2.1 數(shù)據(jù)采集與傳送

數(shù)據(jù)采集與傳送是數(shù)據(jù)質(zhì)量控制的基礎(chǔ)，數(shù)據(jù)采集主要是讀取觀測(cè)儀器的實(shí)時(shí)數(shù)據(jù)或延時(shí)數(shù)據(jù)?，F(xiàn)在的數(shù)據(jù)采集一般是觀測(cè)儀器自動(dòng)記錄觀測(cè)數(shù)據(jù)，這樣可以消除部分人為造成的讀數(shù)誤差。數(shù)據(jù)傳送過(guò)程中可能會(huì)帶來(lái)部分的傳輸誤差，一般造成非碼錯(cuò)誤，這就要求接收數(shù)據(jù)的時(shí)候應(yīng)該對(duì)數(shù)據(jù)進(jìn)行非碼檢驗(yàn)，保證不必要數(shù)據(jù)的后期處理。

2.2 數(shù)據(jù)轉(zhuǎn)化

傳輸?shù)臄?shù)據(jù)往往不一定是我們所認(rèn)知的數(shù)據(jù)形式或者數(shù)據(jù)量綱，這就要求對(duì)其進(jìn)行數(shù)據(jù)轉(zhuǎn)換。轉(zhuǎn)換以后的數(shù)據(jù)才能更加清晰地反應(yīng)當(dāng)前海洋環(huán)境的狀況以及趨勢(shì)。

2.3 選擇適當(dāng)?shù)臄?shù)據(jù)質(zhì)量控制方法進(jìn)行數(shù)據(jù)質(zhì)量控制

選擇數(shù)據(jù)質(zhì)量控制方法是海洋站數(shù)據(jù)質(zhì)量控制過(guò)程中的核心。為了選擇合適的質(zhì)量控制方法，首先必須對(duì)數(shù)據(jù)本身的特點(diǎn)進(jìn)行分析，一般有數(shù)據(jù)正態(tài)性判斷、數(shù)據(jù)誤差正態(tài)性判斷以及數(shù)據(jù)量的大小，甚至數(shù)據(jù)分組處理等等。目前常用的數(shù)據(jù)質(zhì)量控制方法有極值檢驗(yàn)、一致性判斷、遞增性判斷、3δ方法檢驗(yàn)、格拉布斯檢驗(yàn)以及狄克遜檢驗(yàn)等。

2.4數(shù)據(jù)質(zhì)量控制結(jié)果顯示以及存儲(chǔ)

數(shù)據(jù)質(zhì)量控制結(jié)果一般通過(guò)散點(diǎn)圖、擬合圖、點(diǎn)線圖等來(lái)分析當(dāng)前海洋環(huán)境的狀況以及趨勢(shì)。數(shù)據(jù)質(zhì)量控制的目的不單是為了顯示當(dāng)前的海洋環(huán)境狀況，還要數(shù)據(jù)質(zhì)量控制結(jié)果的存儲(chǔ)以達(dá)到通過(guò)數(shù)據(jù)積累了解海洋規(guī)律。

以上的4個(gè)階段是對(duì)實(shí)時(shí)數(shù)據(jù)質(zhì)量控制過(guò)程的簡(jiǎn)單概括，延時(shí)數(shù)據(jù)質(zhì)量控制是在實(shí)時(shí)數(shù)據(jù)質(zhì)量控制的基礎(chǔ)上進(jìn)行的更加深入的數(shù)據(jù)處理過(guò)程，不過(guò)基本的數(shù)據(jù)質(zhì)量控制過(guò)程只有上述的3，4兩個(gè)過(guò)程，因此這里不再詳細(xì)探討延時(shí)數(shù)據(jù)質(zhì)量控制過(guò)程。

3 算例與分析

現(xiàn)以傳送過(guò)來(lái)的某一海洋站符合觀測(cè)規(guī)范格式的1個(gè)月的逐時(shí)表層海水溫度和表層海水鹽度數(shù)據(jù)文件為例。這類文件一般是每個(gè)月會(huì)產(chǎn)生1個(gè)文件報(bào)表，對(duì)該類文件的處理算是延時(shí)數(shù)據(jù)質(zhì)量控制。

首先按照海濱觀測(cè)規(guī)范將數(shù)據(jù)文件轉(zhuǎn)化為實(shí)際認(rèn)知的數(shù)據(jù)形式，并形成數(shù)據(jù)文件。

其次對(duì)數(shù)據(jù)進(jìn)行質(zhì)量控制。該文件數(shù)據(jù)量比較大，并且在忽略人為所造成的過(guò)失情況下認(rèn)為數(shù)據(jù)是符合正態(tài)分布的。數(shù)據(jù)量不同，采用的方法往往也不同，同一數(shù)據(jù)在不同方法下判斷結(jié)果有時(shí)也不同，這時(shí)候應(yīng)采用比較精確的方法得出的結(jié)論。對(duì)整個(gè)月的數(shù)據(jù)可以采用萊茵達(dá)檢驗(yàn)法進(jìn)行質(zhì)量控制。為了提高數(shù)據(jù)的質(zhì)量和對(duì)異常數(shù)據(jù)的剔除，我們對(duì)數(shù)據(jù)再采用按日分組進(jìn)行處理。質(zhì)量控制前的散點(diǎn)圖如圖2，從圖中能夠看出有些數(shù)據(jù)是偏離整體趨勢(shì)的。對(duì)整個(gè)月的數(shù)據(jù)采用萊茵達(dá)檢驗(yàn)法后的散點(diǎn)圖如圖3，從圖中可以看出還是有些數(shù)據(jù)是偏離整體趨勢(shì)的，因此需要更精確的質(zhì)量控制。按日分組采用Cochran檢驗(yàn)法檢驗(yàn)，然后對(duì)有異常數(shù)據(jù)的組用格拉布斯檢驗(yàn)法檢驗(yàn)后的散點(diǎn)圖如圖4，從圖中可以看出其中的表層海水溫度變化趨勢(shì)已經(jīng)很明顯。

最后采用曲線擬合表現(xiàn)整個(gè)月的表層海水溫度變化趨勢(shì)，這里采用最小二乘方法擬合[4]以后的曲線如圖5。

圖2 質(zhì)量控制前表層海水溫度散點(diǎn)圖

圖3 整體處理后表層海水溫度散點(diǎn)圖

圖4 按日分組處理后表層海水溫度散點(diǎn)圖

圖5 表層海水溫度擬合曲線圖

對(duì)于表層海水鹽度可以重復(fù)上述處理過(guò)程這里不再詳細(xì)說(shuō)明。

4 總結(jié)與展望

通過(guò)實(shí)例簡(jiǎn)單討論了海洋站數(shù)據(jù)質(zhì)量控制，其中還有很多的問(wèn)題需要更加深入的探討。今后可以開(kāi)展的研究可以總結(jié)為以下幾點(diǎn)：

（1）質(zhì)量控制方法需要更加細(xì)致的探討，需要針對(duì)海洋數(shù)據(jù)本身的特點(diǎn)分析出適合特定數(shù)據(jù)的質(zhì)量控制方法。

（2）質(zhì)量控制最終結(jié)果處理的探討，不僅是簡(jiǎn)單的曲線擬合，還需要更加精確的表現(xiàn)數(shù)據(jù)趨勢(shì)的手段。

（3）更加深入的質(zhì)量控制研究，本文只簡(jiǎn)單分析了海洋站數(shù)據(jù)質(zhì)量控制。有待于今后采用更加深入的數(shù)據(jù)處理方法，比如回歸分析、判別分析等。

[1]劉振學(xué)，等.實(shí)驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理[M].北京：化學(xué)工業(yè)出版社，2004：29-33.

[2]于振凡，等.數(shù)據(jù)的統(tǒng)計(jì)處理和解釋（第二版）[M].北京：中國(guó)標(biāo)準(zhǔn)出版社，2006：165-180.

[3]國(guó)家質(zhì)量技術(shù)監(jiān)督局.GB 17378.2.海洋監(jiān)測(cè)規(guī)范 第2部分：數(shù)據(jù)處理與分析質(zhì)量控制[S].1998.

[4]蘇金明，等.MATLAB使用指南（上冊(cè)）[M].北京：電子工業(yè)出版社，2005：49-55.

Abstract：Several commonly used quality control methods are described.The conditions of these methods are described then.The data quality control process of marine stations is preliminarily analyzed.According to the characteristics of the ocean station data,an overall month data of a marine station by 3δ verify method are inspected and the data group is tested by group using Grubbs verify method.The quality control results are performed by means of curve fitting.It can be seen from the results that the data quality has been improved using the data quality control process which is introduced.

Key words：quality control process;3δ verify method;Grubbs verify method;curve fitting;packet inspection

Study on Technology of Ocean Station Data Quality Control

SHI Jing-tao,ZHOU Zhi-hai
（National Ocean Technology Center,Tianjin 300112,China）

P71

A

1003-2029（2011）01-0114-04

2010-05-28

國(guó)家“十一五”863計(jì)劃——海洋立體實(shí)時(shí)監(jiān)測(cè)信息服務(wù)技術(shù)系統(tǒng)資助項(xiàng)目（2006AA09A302）