一種精細(xì)化的海洋浮標(biāo)數(shù)據(jù)質(zhì)量控制方法

任煥萍, 張 斌, 譚哲韜, 李富超

一種精細(xì)化的海洋浮標(biāo)數(shù)據(jù)質(zhì)量控制方法

任煥萍1, 2, 張 斌1, 2, 譚哲韜3, 4, 李富超1, 2

(1.中國(guó)科學(xué)院海洋研究所, 山東 青島 266071; 2.中國(guó)科學(xué)院海洋大科學(xué)研究中心, 山東 青島 266071; 3.中國(guó)科學(xué)院大氣物理研究所, 北京 100029; 4.中國(guó)科學(xué)院大學(xué), 北京 100049)

針對(duì)海洋浮標(biāo)數(shù)據(jù)獲取特點(diǎn)及常見(jiàn)數(shù)據(jù)錯(cuò)情, 本文提出了一種精細(xì)化的海洋浮標(biāo)溫鹽數(shù)據(jù)質(zhì)量控制方法。通過(guò)范圍檢驗(yàn)、尖峰檢驗(yàn)、萊因達(dá)準(zhǔn)則等六個(gè)步驟實(shí)現(xiàn)浮標(biāo)數(shù)據(jù)質(zhì)量控制, 其創(chuàng)新性在于有效集成了多種質(zhì)量檢驗(yàn)法, 并且研究了一種融合傳統(tǒng)尖峰檢驗(yàn)與萊因達(dá)準(zhǔn)則的質(zhì)量檢驗(yàn)新方法; 并以中國(guó)近海觀測(cè)研究網(wǎng)絡(luò)黃、東海站浮標(biāo)溫鹽觀測(cè)數(shù)據(jù)為例, 驗(yàn)證了本方法的有效性和適用性。該方法可廣泛用于海洋浮標(biāo)溫鹽觀測(cè)數(shù)據(jù)的質(zhì)量控制, 識(shí)別出長(zhǎng)時(shí)間序列數(shù)據(jù)的異常值。經(jīng)過(guò)本方法質(zhì)控后的浮標(biāo)觀測(cè)數(shù)據(jù)對(duì)于海洋科學(xué)研究、海洋氣象預(yù)報(bào)、海洋災(zāi)害預(yù)警以及漁業(yè)發(fā)展等具有重要意義。

海洋浮標(biāo); 溫鹽; 質(zhì)量控制; 萊因達(dá)準(zhǔn)則

海洋浮標(biāo)是一種較早開(kāi)發(fā)并長(zhǎng)期延續(xù)使用的觀測(cè)設(shè)備[1], 可以對(duì)海洋環(huán)境進(jìn)行自動(dòng)、連續(xù)、長(zhǎng)期的同步監(jiān)測(cè)[2], 浮標(biāo)觀測(cè)數(shù)據(jù)對(duì)于海洋科學(xué)研究、海洋氣象預(yù)報(bào)、海洋災(zāi)害預(yù)警以及漁業(yè)發(fā)展等具有重要意義[3]。合格的浮標(biāo)觀測(cè)數(shù)據(jù)是海洋科學(xué)的“生命線(xiàn)”。但由于種種原因, 一些原始觀測(cè)數(shù)據(jù)或多或少存在精度不高、質(zhì)量欠佳等問(wèn)題。海洋浮標(biāo)及傳感器長(zhǎng)期受惡劣的海洋環(huán)境影響, 包括海洋生物附著、海水腐蝕、鹽霧侵襲、風(fēng)浪襲擊等, 這些因素都會(huì)影響傳感器的監(jiān)測(cè)結(jié)果, 造成數(shù)據(jù)異常。因此, 數(shù)據(jù)在實(shí)際使用前, 需要進(jìn)行嚴(yán)謹(jǐn)而科學(xué)的質(zhì)量控制(quality control, QC)[4], 識(shí)別和剔除數(shù)據(jù)序列中的異常值, 提高數(shù)據(jù)的準(zhǔn)確性和可用性[5]。高質(zhì)量的海洋觀測(cè)數(shù)據(jù), 可以幫助人類(lèi)應(yīng)對(duì)全球氣候變化, 提高防災(zāi)抗災(zāi)能力, 預(yù)測(cè)臺(tái)風(fēng)和厄爾尼諾等極端天氣、海洋事件等。

海洋浮標(biāo)溫度、鹽度資料的質(zhì)量控制方法主要包括日期檢驗(yàn)、位置檢驗(yàn)、格式檢驗(yàn)、范圍檢驗(yàn)、氣候特征檢驗(yàn)、尖峰檢驗(yàn)、梯度檢驗(yàn)、連續(xù)性檢驗(yàn)等[6]。針對(duì)溫鹽觀測(cè)數(shù)據(jù), 采用范圍檢驗(yàn)可以檢測(cè)出超出目標(biāo)區(qū)域閾值范圍的錯(cuò)誤數(shù)據(jù)。采用統(tǒng)計(jì)性的質(zhì)量控制方法如萊因達(dá)準(zhǔn)則等可以檢出統(tǒng)計(jì)分布中的離群值[7]。但是, 觀測(cè)數(shù)據(jù)中還存在一種與相鄰時(shí)間觀測(cè)數(shù)據(jù)差異較大、但又在整體數(shù)據(jù)閾值范圍內(nèi)的尖峰值, 該類(lèi)錯(cuò)誤采用傳統(tǒng)的尖峰檢驗(yàn)法不能有效標(biāo)記[8]。

不同類(lèi)型的觀測(cè)數(shù)據(jù), 其異常值都有不同外觀特征及性質(zhì), 很難通過(guò)普適性的異常值檢測(cè)方法進(jìn)行識(shí)別[9], 因此在實(shí)際應(yīng)用中需要根據(jù)不同場(chǎng)景具體分析、給出具體的質(zhì)控方法。近年來(lái), 在海洋溫鹽數(shù)據(jù)質(zhì)量控制方面已有很多研究成果, 但大多是針對(duì)航次觀測(cè)、Argo漂流浮標(biāo)等剖面觀測(cè)手段的質(zhì)量控制理論方法探討, 而針對(duì)具有定點(diǎn)、長(zhǎng)時(shí)間序列的海洋浮標(biāo)實(shí)測(cè)數(shù)據(jù)的精細(xì)化質(zhì)量控制方案尚有欠缺[10]。

1 數(shù)據(jù)質(zhì)量控制方法

本文針對(duì)長(zhǎng)時(shí)間序列的海洋浮標(biāo)觀測(cè)的海水溫度(水溫)數(shù)據(jù)和海水鹽度(鹽度)數(shù)據(jù), 根據(jù)觀測(cè)要素的特性以及數(shù)據(jù)本身特征, 綜合運(yùn)用范圍檢測(cè)法、尖峰檢驗(yàn)法、萊因達(dá)準(zhǔn)則(3法則)以及最大誤差控制等方法, 提出了一種精細(xì)化的浮標(biāo)數(shù)據(jù)質(zhì)量控制方法, 并使用實(shí)際觀測(cè)數(shù)據(jù)驗(yàn)證和測(cè)試了該方法的有效性和適用性。該方法以萊因達(dá)準(zhǔn)則為核心, 通過(guò)6個(gè)步驟流程完成數(shù)據(jù)質(zhì)量控制。整體流程步驟見(jiàn)圖1, 每個(gè)步驟完成后, 對(duì)檢出的異常數(shù)據(jù)做不同的質(zhì)控標(biāo)記。

圖1 針對(duì)浮標(biāo)溫鹽數(shù)據(jù)的精細(xì)化質(zhì)量控制方案流程圖

1) 數(shù)據(jù)預(yù)處理, 主要目的是查找重復(fù)數(shù)據(jù)和空記錄, 對(duì)重復(fù)記錄和數(shù)值為空的記錄做出標(biāo)記。空記錄一般是因?yàn)閮x器設(shè)備故障或數(shù)據(jù)傳輸問(wèn)題等原因, 沒(méi)有采集到數(shù)據(jù)。重復(fù)記錄是同一浮標(biāo)在同一個(gè)時(shí)間點(diǎn)有2條或多條相同的數(shù)據(jù)。造成數(shù)據(jù)重復(fù)的主要原因是浮標(biāo)早期獲取設(shè)備數(shù)據(jù)時(shí), 采用多種數(shù)據(jù)傳輸方式, 但在數(shù)據(jù)庫(kù)存儲(chǔ)、使用時(shí)未排除重復(fù)。

2) 采集信息核對(duì)法, 主要對(duì)照浮標(biāo)的維護(hù)信息記錄, 核對(duì)檢查相應(yīng)時(shí)間段內(nèi)的溫鹽數(shù)據(jù)。與以往大部分僅基于數(shù)據(jù)本身的質(zhì)量控制方法不同, 這里充分考慮了采集過(guò)程中觀測(cè)儀器設(shè)備的檢修維護(hù)等信息情況。近海浮標(biāo)位于海上, 環(huán)境條件惡劣, 需要對(duì)浮標(biāo)數(shù)據(jù)進(jìn)行及時(shí)巡查, 對(duì)浮標(biāo)搭載的傳感器設(shè)備定期巡檢和保養(yǎng)維護(hù), 同時(shí)發(fā)現(xiàn)問(wèn)題后需要及時(shí)對(duì)浮標(biāo)進(jìn)行維修, 問(wèn)題嚴(yán)重時(shí)需要拖上岸進(jìn)行大修。浮標(biāo)巡檢維護(hù)期間的缺失數(shù)據(jù)和錯(cuò)誤數(shù)據(jù), 都需要檢出。對(duì)照浮標(biāo)維護(hù)記錄進(jìn)行分析, 如果某一段時(shí)間有設(shè)備維護(hù)、安裝調(diào)試、數(shù)據(jù)缺失等維護(hù)記錄, 則該段時(shí)間數(shù)據(jù)不正確, 質(zhì)控標(biāo)記為異常數(shù)據(jù)。

例如: 對(duì)照3號(hào)浮標(biāo)維護(hù)記錄, 發(fā)現(xiàn)2018年10月11日—17日數(shù)據(jù)巡檢記錄為異常, 10月18日— 21日對(duì)3號(hào)浮標(biāo)進(jìn)行了維護(hù), 完成了系統(tǒng)的整體安裝與布放, 21日重新正式使用, 所以將10月11日到21日數(shù)據(jù)均標(biāo)記為異常。

3) 范圍檢驗(yàn)法, 主要目的是根據(jù)觀測(cè)要素在目標(biāo)區(qū)域的范圍, 針對(duì)原始觀測(cè)數(shù)據(jù)進(jìn)行初步篩查, 對(duì)超出區(qū)域范圍外的數(shù)據(jù), 做異常質(zhì)控標(biāo)記。通過(guò)歷史數(shù)據(jù)、其他觀測(cè)數(shù)據(jù)的分析, 確定黃東海區(qū)域海水水溫范圍為0～40 ℃, 黃東海區(qū)域鹽度范圍為10～40[11]。如果檢測(cè)出數(shù)據(jù)處于區(qū)域范圍之外, 則標(biāo)記為異常數(shù)據(jù)。

4) 尖峰檢驗(yàn)萊因達(dá)法。在浮標(biāo)觀測(cè)數(shù)據(jù)中, 存在一種突變尖峰數(shù)據(jù), 與相鄰前后數(shù)據(jù)對(duì)比, 變化十分明顯, 這種數(shù)據(jù)會(huì)在短時(shí)間內(nèi)陡然增加或減小。

傳統(tǒng)的尖峰檢驗(yàn)法, 是對(duì)觀測(cè)要素進(jìn)行尖峰檢驗(yàn), 如果出現(xiàn)較大的突變, 則為異常。假設(shè)當(dāng)前觀測(cè)數(shù)據(jù)為X, 其前后鄰居數(shù)據(jù)分別為X–1和X+1, 則檢驗(yàn)值= ABS[X– (X–1+X+1)/2]–ABS[(X–1–X+1)/2], 如檢驗(yàn)值超出標(biāo)準(zhǔn)范圍, 則判定其為異常值。按照國(guó)家海洋信息中心發(fā)布的“海洋水文氣象資料質(zhì)量控制方法”規(guī)定[6], 對(duì)于海洋觀測(cè)站, 當(dāng)壓強(qiáng)<500 dbar時(shí), 如果水溫檢驗(yàn)值>6 ℃, 則為尖峰異常; 如果鹽度檢驗(yàn)值>0.9, 則為尖峰異常。采用傳統(tǒng)的尖峰檢驗(yàn)法, 能檢出檢驗(yàn)值比較大的部分尖峰值, 由于標(biāo)準(zhǔn)范圍較大, 導(dǎo)致很大一部分的尖峰值不能有效檢出。

針對(duì)這個(gè)問(wèn)題, 本文創(chuàng)新性地提出“尖峰檢驗(yàn)萊因達(dá)法”, 將傳統(tǒng)方法中標(biāo)準(zhǔn)范圍為固定值的方式, 改變?yōu)橥ㄟ^(guò)萊因達(dá)準(zhǔn)則計(jì)算的3倍標(biāo)準(zhǔn)差作為標(biāo)準(zhǔn)范圍。具體方法如下: 針對(duì)時(shí)間序列觀測(cè)數(shù)據(jù), 將其中每一個(gè)數(shù)與其前一鄰居相比, 計(jì)算鄰差(第一個(gè)數(shù)鄰差為0), 形成鄰差序列值; 鄰差序列值基本滿(mǎn)足正態(tài)分布(見(jiàn)圖2), 可以使用萊因達(dá)準(zhǔn)則, 識(shí)別其中的異常值。

圖2 溫、鹽數(shù)據(jù)鄰差序列值的頻率分布圖

相比于傳統(tǒng)的“萊因達(dá)準(zhǔn)則”, 采用“尖峰檢驗(yàn)萊因達(dá)法”更能明顯提升異常數(shù)據(jù)的質(zhì)控比例。6號(hào)浮標(biāo)2009—2012年度水溫?cái)?shù)據(jù)多監(jiān)測(cè)出360條異常數(shù)據(jù), 異常占比0.34%, 整體占比從9.46%提升到了9.80%(見(jiàn)圖3)。6號(hào)浮標(biāo)2018—2019年度水溫?cái)?shù)據(jù)多檢出477條異常, 異常占比0.73%, 整體占比從2.97%提升到3.70%。鹽度數(shù)據(jù)3號(hào)浮標(biāo)2010—2012年度多檢出235條異常, 異常占比1.06%, 整體占比從5.50% 提升到6.56%。

然而, 這種方法的局限性在于假定尖峰異常只有一個(gè)數(shù)據(jù), 前后鄰居數(shù)據(jù)均為正常值。針對(duì)這種局限性, 采用下一步的日均萊因達(dá)法做進(jìn)一步處理。

5) 日均萊因達(dá)法。目的是找到超出日變率范圍的異常數(shù)據(jù)。根據(jù)萊因達(dá)準(zhǔn)則, 以天為單位, 分別計(jì)算每日水溫和鹽度的均值及標(biāo)準(zhǔn)差, 查找殘差(與均值差的絕對(duì)值)大于3的數(shù)據(jù), 并做異常標(biāo)記。通過(guò)該方法, 剔除每日數(shù)據(jù)中偏離較大的數(shù)據(jù)。與尖峰檢驗(yàn)萊因達(dá)法相比, 日均萊因達(dá)法可以進(jìn)一步發(fā)現(xiàn)連續(xù)2個(gè)數(shù)據(jù)異常的情況。

圖3 采用尖峰萊因達(dá)法質(zhì)量控制前后對(duì)比

此外, 在浮標(biāo)觀測(cè)數(shù)據(jù)中, 還會(huì)出現(xiàn)在海況較為穩(wěn)定的情況下, 某一天溫度和鹽度變化很小, 這種情況下根據(jù)萊因達(dá)準(zhǔn)則計(jì)算的3倍標(biāo)準(zhǔn)差會(huì)非常小, 導(dǎo)致一些變化很小的正常值會(huì)被誤判為異常。為解決這個(gè)問(wèn)題, 我們采用“最大允許誤差”的方法, 對(duì)萊因達(dá)法進(jìn)行改進(jìn)。

GB 17378.2-2007《海洋監(jiān)測(cè)規(guī)范第2部分: 數(shù)據(jù)處理與分析質(zhì)量控制》[12], 最大允許誤差是指技術(shù)規(guī)范(如標(biāo)準(zhǔn)、檢定規(guī)程)所規(guī)定的允許的誤差極限值, 是判定是否合格的一個(gè)規(guī)定要求, 作為測(cè)量?jī)x器的特性, 規(guī)定最大允許誤差和通過(guò)檢定、校準(zhǔn)去確定示值誤差, 在實(shí)用上具有十分現(xiàn)實(shí)的意義。國(guó)標(biāo)HY/T 142—2011 《大型海洋環(huán)境監(jiān)測(cè)浮標(biāo)》[13], 其中“5.5測(cè)量參數(shù)、范圍和最大允許誤差”規(guī)定, 海洋表層水溫最大允許誤差0.5攝氏度, 電導(dǎo)率(表層鹽度)最大允許誤差0.1 mS/cm。海水的電導(dǎo)率與鹽度的換算系數(shù)K為0.7[14], 可以計(jì)算出鹽度的最大允許誤差為0.07。

據(jù)此, 按照日均萊因達(dá)法判為異常的數(shù)據(jù)中, 如果其殘差小于最大允許誤差, 則為誤判, 通過(guò)本方法糾正為正確值。例如: 6號(hào)浮標(biāo)2019年11月1日水溫變化曲線(xiàn)(圖4), 該日平均水溫23.01, 標(biāo)準(zhǔn)差= 0.07。其中14點(diǎn)、14點(diǎn)10分的值均為23.3, 殘差(23.3 – 23.01 = 0.29)>3, 根據(jù)日均萊因達(dá)法判斷這2個(gè)數(shù)據(jù)為異常, 但從整體曲線(xiàn)圖和序列關(guān)系來(lái)看數(shù)據(jù)是正確的, 由于殘差0.29<0.5(水溫最大允許誤差), 可以判斷該數(shù)據(jù)為正確, 避免了誤判。

圖4 第6號(hào)浮標(biāo)2019年11月1日水溫變化曲線(xiàn)

6) 完成質(zhì)控標(biāo)記。采用上述質(zhì)量控制方法, 將已檢測(cè)出的異常數(shù)據(jù)做了標(biāo)記, 這里進(jìn)一步將剩余的數(shù)據(jù)標(biāo)記為0, 作為正確數(shù)據(jù)。數(shù)據(jù)質(zhì)控標(biāo)記符號(hào)說(shuō)明見(jiàn)表1。

表1 數(shù)據(jù)質(zhì)控標(biāo)記符號(hào)說(shuō)明

2 方法驗(yàn)證與分析

為深入測(cè)試和驗(yàn)證上述的質(zhì)量控制方案, 本文選取黃海和東海共6個(gè)浮標(biāo)溫鹽觀測(cè)數(shù)據(jù)作為樣本(圖5)進(jìn)行驗(yàn)證, 并對(duì)結(jié)果數(shù)據(jù)進(jìn)行分析。

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文選取中國(guó)科學(xué)院海洋研究所在黃海1、2、3、4、5號(hào)浮標(biāo)和東海6號(hào)浮標(biāo)在不同時(shí)間段的溫度、鹽度數(shù)據(jù)[15], 浮標(biāo)的溫鹽傳感器位于水下1 m處。具體包括:

1) 黃海站1號(hào)浮標(biāo): 浮標(biāo)類(lèi)型為3 m浮標(biāo), 觀測(cè)站位置: (122°45.02′E, 38°45.58′N(xiāo)), 布放位置水深52 m, 觀測(cè)時(shí)間自2010年4月29日至今, 數(shù)據(jù)采樣間隔30 min。溫鹽觀測(cè)數(shù)據(jù)2010—2012年總計(jì)17 267條記錄。

2) 黃海站2號(hào)浮標(biāo): 浮標(biāo)類(lèi)型為2 m浮標(biāo), 觀測(cè)站位置: (123°00.48′E, 39°04.00′N(xiāo)), 布放位置水深37.3 m, 觀測(cè)時(shí)間自2010年4月29日至今, 數(shù)據(jù)采樣間隔1 h。溫鹽觀測(cè)數(shù)據(jù)2010—2012年總計(jì)11 072條記錄。

3) 黃海站3號(hào)浮標(biāo): 浮標(biāo)類(lèi)型為2 m浮標(biāo), 觀測(cè)站位置: (122°35.50′E, 39°03.98′N(xiāo)), 布放位置水深39.7 m, 觀測(cè)時(shí)間自2010年3月27日至今, 2010—2011數(shù)據(jù)采樣間隔1 h, 2012年之后采樣間隔10 min。溫鹽觀測(cè)數(shù)據(jù)2010—2012年總計(jì)22 102條記錄, 2018—2019年總計(jì)15 755條記錄。

4) 黃海站4號(hào)浮標(biāo): 浮標(biāo)類(lèi)型為2 m浮標(biāo), 觀測(cè)站位置: (123°06.01′E, 39°16.00′N(xiāo)), 布放位置水深30 m, 觀測(cè)時(shí)間自2010年4月29日至今, 數(shù)據(jù)采樣間隔1 h。溫鹽觀測(cè)數(shù)據(jù)2010—2012年總計(jì)9 634條記錄。

5) 黃海站5號(hào)浮標(biāo): 浮標(biāo)類(lèi)型為2 m浮標(biāo), 觀測(cè)站位置: (122°44.98′E, 38°57.49′N(xiāo)), 布放位置水深46 m, 觀測(cè)時(shí)間自2010年4月29日至今, 數(shù)據(jù)采樣間隔1 h。溫鹽觀測(cè)數(shù)據(jù)2010—2012年總計(jì)9 886條記錄。

6) 東海站6號(hào)浮標(biāo): 浮標(biāo)類(lèi)型為10 m浮標(biāo), 觀測(cè)站位置: (123°08.04′E, 30°43.04′N(xiāo)), 布放位置水深61 m, 觀測(cè)時(shí)間自2009年7月6日至今, 數(shù)據(jù)采樣間隔30 min。2009—2012年總計(jì)104 916條記錄, 2018—2020年5月總計(jì)65 519條記錄。

圖5 用于數(shù)據(jù)測(cè)試的黃海和東海浮標(biāo)位置

2.2 方法驗(yàn)證

按照質(zhì)控標(biāo)記對(duì)數(shù)據(jù)進(jìn)行分類(lèi)統(tǒng)計(jì), 2018— 2019年度統(tǒng)計(jì)結(jié)果見(jiàn)下表2, 2010—2012年度統(tǒng)計(jì)結(jié)果見(jiàn)下表3。

分析可見(jiàn), 對(duì)于3號(hào)浮標(biāo), 標(biāo)記為1、2、3、4、5的溫度異常數(shù)據(jù)分別占比0.61%、4.14%、0.00%、0.36%、0.22%; 鹽度異常占比為3.50%、1.26%、0.00%、0.55%、0.28%?？傮w來(lái)看, 標(biāo)記了5.33%的溫度異常數(shù)據(jù)、5.59%的鹽度異常數(shù)據(jù)。對(duì)于6號(hào)浮標(biāo), 標(biāo)記為1、2、3、4、5的溫度異常數(shù)據(jù)占比分別為1.23、1.60%、0.00%、0.73%、0.14%, 鹽度異常占比分別為5.91%、1.17%、0.01%、0.73%、0.28%?？傮w來(lái)看, 標(biāo)記了3.70%的溫度異常數(shù)據(jù)、8.10%的鹽度異常數(shù)據(jù)。

其中, 采用本文提出的“尖峰檢驗(yàn)萊因達(dá)法”, 明顯提升了質(zhì)量控制效果, 見(jiàn)表2、表3中質(zhì)控標(biāo)記為4的異常數(shù)據(jù)量。2018—2019年水溫?cái)?shù)據(jù)質(zhì)量控制結(jié)果中, 3號(hào)浮標(biāo)檢出56條異常, 6號(hào)浮標(biāo)檢出477條異常。鹽度數(shù)據(jù)結(jié)果中, 3號(hào)浮標(biāo)檢出86條異常, 6號(hào)浮標(biāo)檢出480條異常。

表3 2010—2012年度數(shù)據(jù)質(zhì)量統(tǒng)計(jì)結(jié)果

對(duì)數(shù)據(jù)質(zhì)控前后結(jié)果進(jìn)行對(duì)比, 驗(yàn)證了質(zhì)控方法的有效性, 下面分別從三個(gè)方面說(shuō)明。

1)3、4、5、6號(hào)浮標(biāo)水溫時(shí)間序列對(duì)比(圖6), 質(zhì)控后, 很多黑色異常點(diǎn)被標(biāo)識(shí), 整體來(lái)看, 質(zhì)控后顯示出明顯的波動(dòng)規(guī)律性。圖中曲線(xiàn)中斷的時(shí)間段沒(méi)有數(shù)據(jù), 原因是浮標(biāo)出現(xiàn)故障, 數(shù)據(jù)缺失。3號(hào)浮標(biāo)水溫?cái)?shù)據(jù)起始時(shí)間為2010年4月29日, 其中2011年11月5日到12年9月26日數(shù)據(jù)缺失。6號(hào)浮標(biāo)2012年1月1日到3月30日數(shù)據(jù)缺失。密集的黑色區(qū)域, 屬于浮標(biāo)維護(hù)期間的異常數(shù)據(jù), 例如6號(hào)浮標(biāo)在2012年7月14日到10月20日期間進(jìn)行了大修, 數(shù)據(jù)為異常。還有一類(lèi)突然增大或減小的黑色點(diǎn), 屬于異常突變數(shù)據(jù)。

圖6 質(zhì)控前(黑色)后(紅色)的溫度時(shí)間序列對(duì)比圖

2) 1、2、3、6號(hào)浮標(biāo)質(zhì)控前后鹽度時(shí)間序列對(duì)比(圖7), 可以看出, 質(zhì)控前鹽度振幅變化很大, 質(zhì)控后振動(dòng)幅度明顯縮小。例如: 2010—2012年, 3號(hào)浮標(biāo)振幅為0～38.9, 質(zhì)控后振幅為16.7～32.4。2018— 2020年5月, 6號(hào)浮標(biāo)振幅為0～39.9, 質(zhì)控后振幅減小為18.9～34.9。

3) 質(zhì)控后數(shù)據(jù)質(zhì)量得到明顯提升, 異常點(diǎn)已經(jīng)被去掉, 典型示例見(jiàn)圖8。其中a圖是6號(hào)浮標(biāo)2010年5月質(zhì)控前后溫度時(shí)間序列數(shù)據(jù), 5月25日到26日, 有數(shù)據(jù)突然大幅下降和上升(黑色點(diǎn)), 經(jīng)過(guò)質(zhì)控后這些突變點(diǎn)被檢出, 排除了異常。b圖為6號(hào)浮標(biāo)2011年11月鹽度數(shù)據(jù)質(zhì)控前后對(duì)比, 可以明顯看出, 其中很多突然下降的異常數(shù)據(jù)被識(shí)別出來(lái)。

2.3 數(shù)據(jù)分析

對(duì)質(zhì)控后數(shù)據(jù)進(jìn)行分析可以看出, 黃東海溫鹽具有顯著的季節(jié)變化特征(圖6、圖7), 并且水溫易受臺(tái)風(fēng)極端事件影響。

海表水溫冬低夏高, 季節(jié)循環(huán)變化明顯[16]。每年2月份溫度達(dá)到最低點(diǎn), 之后逐漸上升, 到夏季8月份達(dá)到最高點(diǎn), 之后又逐漸下降, 直至第二年的2月份, 循環(huán)往復(fù)。例如2019年3號(hào)浮標(biāo)最低溫度在2月19日為1.1 ℃, 最高溫度在8月9日達(dá)26.7 ℃。2018年6號(hào)浮標(biāo)最低溫度出現(xiàn)在冬季2月12日為9.2 ℃, 最高溫度在8月9日達(dá)30.6 ℃。黃海、東海海水溫度具有季節(jié)變化特征, 這與前人的觀測(cè)結(jié)果一致[17], 進(jìn)一步驗(yàn)證了本文質(zhì)量控制方法的可靠性和合理性。

圖7 質(zhì)控前(黑色)后(紅色)的鹽度時(shí)間序列對(duì)比圖

圖8 質(zhì)控前后異常點(diǎn)明顯被去掉示例

注: 采樣時(shí)間為0時(shí)

海表鹽度夏季偏低, 冬季平穩(wěn)。同水溫一樣, 由于處于亞熱帶區(qū)域, 影響鹽度變化的區(qū)域降雨、徑流以及結(jié)冰、融冰等因子均具季節(jié)性, 使得黃東海表層鹽度變化亦具有季節(jié)性變化特征。海表層鹽度的季節(jié)性變化不如水溫那么規(guī)則, 但總的變化趨勢(shì)與水溫的季節(jié)性變化相反[18]。每年夏季各地雨水多、雨量較大, 長(zhǎng)江水位漲高, 長(zhǎng)江口徑流量增大, 影響到6號(hào)浮標(biāo)的鹽度下降明顯。冬季雨水少, 鹽度值較高, 并且比較平穩(wěn)。

東海6號(hào)浮標(biāo)2019年8—9月水溫多次出現(xiàn)突然下降(圖9), 3組紅色標(biāo)注的區(qū)間, 恰好是4次臺(tái)風(fēng)經(jīng)過(guò)東海之時(shí), 分析可見(jiàn)海洋水溫的突變明顯受到極端事件臺(tái)風(fēng)的影響。圖中縱坐標(biāo)數(shù)據(jù)為溫度異常(temperature anomaly), 表示在已剔除日變化和季節(jié)循環(huán)基礎(chǔ)之上的溫度異常。大于0表示暖異常, 即比平均態(tài)更暖; 小于0表示冷異常。可以看出三個(gè)臺(tái)風(fēng)經(jīng)過(guò)東海時(shí), 都導(dǎo)致了冷異常。

圖9 2019年8—9月6號(hào)浮標(biāo)水溫異常曲線(xiàn)

第一組紅色區(qū)8月9、10、11日臺(tái)風(fēng)1909號(hào)“利奇馬”經(jīng)過(guò)浙江、江蘇到達(dá)中國(guó)黃海, “利奇馬”是2019年最強(qiáng)的一次臺(tái)風(fēng), 最大風(fēng)速風(fēng)力62 m/s (18級(jí))[19]。這3天海水溫度突然下降, 導(dǎo)致約–1.4 ℃的冷異常, 是這2個(gè)月最強(qiáng)的一次冷異常。

第二組紅色區(qū)為9月6—7日臺(tái)風(fēng)1913號(hào)“玲玲”經(jīng)過(guò)東海, 最大風(fēng)速55 m/s(16級(jí))。這2天海水溫度出現(xiàn)突降, 導(dǎo)致約–1.2 ℃的冷異常, 是這2個(gè)月僅次于“利奇馬”臺(tái)風(fēng)的第二強(qiáng)的一次冷異常。

第三組紅色區(qū)9月22—23日臺(tái)風(fēng)1917號(hào)“塔巴”經(jīng)過(guò)東海, 最大風(fēng)速33 m/s (12級(jí)), 其間浮標(biāo)水溫再次下降, 導(dǎo)致約–0.4 ℃的冷異常。由于“塔巴”強(qiáng)度較弱, 離浮標(biāo)位置也較遠(yuǎn), 所以冷異常也相應(yīng)較小。

3 結(jié)論和展望

本文研發(fā)了一種包括采集信息核對(duì)法、范圍檢驗(yàn)法、尖峰檢驗(yàn)萊因達(dá)法、日均萊因達(dá)法在內(nèi)的新型的、精細(xì)化的海洋浮標(biāo)溫鹽觀測(cè)數(shù)據(jù)6步質(zhì)量控制方法和流程, 該方法具有如下優(yōu)勢(shì):

1) 方法結(jié)合了浮標(biāo)數(shù)據(jù)巡檢記錄、觀測(cè)維護(hù)記錄等輔助信息, 實(shí)現(xiàn)了對(duì)數(shù)據(jù)采集情況的考慮。這優(yōu)于以往大部分僅基于數(shù)據(jù)本身的質(zhì)控方法。

2) 針對(duì)浮標(biāo)數(shù)據(jù)中廣泛存在的異常峰值問(wèn)題, 提出了一種創(chuàng)新的、將尖峰檢驗(yàn)與萊因達(dá)準(zhǔn)則相融合的尖峰檢驗(yàn)萊因達(dá)法, 有效剔除了異常峰值。

3) 針對(duì)連續(xù)異常峰值, 提出了日均萊因達(dá)法進(jìn)行質(zhì)控, 有效檢測(cè)出了同一日數(shù)據(jù)中的連續(xù)異常數(shù)據(jù)。

本文也針對(duì)質(zhì)控后的數(shù)據(jù)進(jìn)行了分析, 再次印證了黃東海地區(qū)海表溫度和鹽度變化具有明顯的季節(jié)循環(huán)和易受極端事件影響的特征。包括中國(guó)科學(xué)院海洋研究所在內(nèi)的國(guó)內(nèi)機(jī)構(gòu)在中國(guó)近海布放了很多浮標(biāo), 針對(duì)不同年度、不同區(qū)域浮標(biāo)、不同海洋要素, 積累了大量長(zhǎng)時(shí)間序列的海洋觀測(cè)數(shù)據(jù)。該精細(xì)化質(zhì)量控制方法可有效支持其他浮標(biāo)觀測(cè)數(shù)據(jù)的質(zhì)量控制, 為科學(xué)研究、海洋預(yù)報(bào)、海洋漁業(yè)生產(chǎn)等提供更準(zhǔn)確的數(shù)據(jù)服務(wù)。

致謝: 感謝中國(guó)科學(xué)院近海海洋觀測(cè)研究網(wǎng)絡(luò)黃海站、東海站的數(shù)據(jù)支撐。

[1] 戴洪磊, 牟乃夏, 王春玉, 等.我國(guó)海洋浮標(biāo)發(fā)展現(xiàn)狀及趨勢(shì)[J].氣象水文海洋儀器, 2014, 6(2): 118-125.

DAI Honglei, MOU Naixia, WANG Chunyu, et al.Development status and trend of ocean buoy in China[J].Meteorological, Hydrological and Marine Instruments, 2014, 6(2): 118-125.

[2] 盧勇奪, 王朝陽(yáng), 王豹, 等.我國(guó)海洋錨系浮標(biāo)數(shù)據(jù)異常值檢測(cè)方法研究——以QF110和QF306為例[J].海洋預(yù)報(bào), 2019, 36(6): 37-43.

LU Yongduo, WANG Zhaoyang, WANG Bao, et al.Re-search on outlier detection method for marine anchor buoys in China, using QF110 and QF306 as an exa-mple[J].Marine Forecasts, 2019, 36(6): 37-43.

[3] 黃龍生, 張書(shū)杰.海洋水文資料質(zhì)量控制的新方法—鹽度—密度統(tǒng)計(jì)方法[J].北京工業(yè)大學(xué)學(xué)報(bào), 1993, 19(3): 92-97.

HUANG Longsheng, ZHANG Shujie.A New quality control method for ocean hydrological data[J].Journal Beijing University of Technology, 1993, 19(3): 92-97.

[4] QIAN Chengcheng, LIU Aichao, HUANG Rui, et al.Quality control of marine big data——a case study of real-time observation station data in Qingdao[J].Journal of Oceanology and Limnology, 2019, 37(6): 195- 205.

[5] 邢巍巍.淺談海域水質(zhì)監(jiān)測(cè)的質(zhì)量保證和質(zhì)量控制[J].環(huán)境與可持續(xù)發(fā)展.2015, 40(6): 162-163.

XING Weiwei.Discuss about the quality assurance and quality control of marine environment monitoring[J].Environment and Sustainable Development, 2015, 40(6): 162-163.

[6] 陳春滿(mǎn), 楊錦坤, 董明媚, 等.國(guó)家海洋信息中心技術(shù)性文件TA2014-001: 海洋水文氣象資料質(zhì)量控制方法[R].天津: 國(guó)家海洋信息中心, 2014.

CHEN Chunman, YANG Jinkun, DONG Mingmei, et al.Technical Guidance Document of National Marine Data Information Center TA2014-001: Quality control me-thod for ocean hydrological meteorological Data[R].Tian-jin: National Marine Data Information Center, 2014.

[7] 于婷, 劉玉龍, 楊錦坤, 等.實(shí)時(shí)和延時(shí)海洋觀測(cè)數(shù)據(jù)質(zhì)量評(píng)估方法研究[J].海洋通報(bào), 2013, 32(6): 610-614, 625.

YU Ting, LIU Yulong, YANG Jinkun, et al.Study on the quality control and quality assurance for the ocea-nographic data of real-time and delayed mode[J].Marine Science Bulletin, 2013, 32(6): 610-614, 625.

[8] Kuik A J, van Vledder G Ph, Holthuijsen L H, et al.A method for the routine analysis of pitch- and-roll buoy wave data[J].Journal of Physical Ocea-nography, 1988, 18(7): 1020-1034.

[9] 史靜濤, 周智海.海洋站數(shù)據(jù)質(zhì)量控制技術(shù)探討[J].海洋技術(shù), 2011, 30(1): 114-117.

SHI Jingtao, ZHOU Zhihai.Study on technology of ocean station data quality control[J].Journal of Ocean Technology, 2011, 30(1): 114-117.

[10] 劉首華, 陳滿(mǎn)春, 董明媚, 等.一種實(shí)用海洋浮標(biāo)數(shù)據(jù)異常值質(zhì)控方法[J].海洋通報(bào), 2016, 35(3): 264-270.

LIU Shouhua, CHEN Manchun, DONG Mingmei, et al.A quality control method for the outlier detection of buoy observations[J].Marine Science Bulletin, 2016, 35(3): 264-270.

[11] 冉珊珊, 時(shí)宇, 楊一帆, 等.東海冬季海水溶解氧, 鹽度的分布特征分析[J].海洋科學(xué)前沿, 2017, 4(4): 118-126.

RAN Shanshan, SHI Yu, YANG Yifan, et al.Distribution characteristics of dissolved oxygen and salinity in sea water in the East China Sea in winter[J].Advances in Marine Sciences, 2017, 4(4): 118-126.

[12] 國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局.海洋監(jiān)測(cè)規(guī)范(第 2 部分: 數(shù)據(jù)處理與分析質(zhì)量控制): GB 17378.2-2007[S].北京: 中國(guó)標(biāo)準(zhǔn)出版社, 2007.

General Administration of Quality Supervision, Inspec-tion and Quarantine of the People’s Republic of China.The specification for marine monitoring (part 2: Data processing and quality control of analysis): GB 17378.2- 2007[S].Beijing: China Quality and Standards Publishing Press, 2007.

[13] 國(guó)家海洋局.大型海洋環(huán)境監(jiān)測(cè)浮標(biāo): HY/T 142- 2011[S].北京: 國(guó)家海洋局.2011.

State Oceanic Administration.Large mooring buoy sys-tem for ocean observing: HY/T 142-2011[S].Beijing: State Oceanic Administration.2011.

[14] 汪一航.一種快速計(jì)算標(biāo)準(zhǔn)海水Rt值的實(shí)用方法[J].海洋通報(bào), 1999, 18(2): 76-79.

WANG Yihang.A practical method for rapidly calculating the Rt value of standard seawater[J].海洋通報(bào), 1999, 18(2): 76-79.

[15] 劉長(zhǎng)華, 王旭, 賈思洋, 等.東海浮標(biāo)綜合觀測(cè)網(wǎng)絡(luò)支撐海洋環(huán)境保護(hù)和防災(zāi)減災(zāi)預(yù)報(bào)[J].中國(guó)科學(xué)院院刊, 2019, 34(10): 1186-1194.

LIU Changhua, WANG Xu, JIA Siyang, et al.Comprehensive observation network of buoys in East China Sea supporting marine environmental protection, disas-ter prevention, and mitigation prediction[J].Bulletin of Chinese Academy of Science, 2019, 34(10): 1186-1194.

[16] 袁本坤, 黃蕊, 商杰, 等.基于岸基觀測(cè)數(shù)據(jù)的渤海沿岸海域表層溫鹽特征分析[J].海洋開(kāi)發(fā)與管理, 2015, 32(12): 31-34.

YUAN Benkun, HUANG Rui, SHANG Jie, et al.Analysis of sea surface temperature and salinity based on the shore-based observation data in the coastal of Bohai Sea[J].Ocean Development and Management, 2015, 32(12): 31-34.

[17] 于非, 許一.東海海表面溫度長(zhǎng)期變化趨勢(shì)研究[J].海洋科學(xué)進(jìn)展, 2003, 21(4): 477-481.

YU Fei, XU Yi.Long term variation trend of sea surface temperature in the East China Sea[J].Advances in Marine Science, 2003, 21(4): 477-481.

[18] 苗慶生, 楊錦坤, 楊揚(yáng), 等.東海30 °N斷面冬季溫鹽分布及年際變化特征分析[J].中國(guó)海洋大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 46(6): 1-7.

MIAO Qingsheng, YANG Jinkun, YANG Yang, et al.Distribution and interannual variation of temperature and salinity in winter at 30 °N section of the East China Sea[J].Zhongguo Haiyang Daxue Xuebao (Ziran Kexue Ban, 2016, 46(6): 1-7.

[19] 向純怡, 趙海坤, 劉青元, 等.1909號(hào)臺(tái)風(fēng)“利奇馬”登陸后強(qiáng)降水分布特征[J].氣象科學(xué), 2020, 40(3): 294-302.

XIANG Chunyi, ZHAO Haikun, LIU Qingyuan, et al.The distribution of torrential rain after landfalling of Typhoon “Lekima”(1909)[J].Journal of the Meteoro-logical Sciences, 2020, 40(3): 294-302.

A new quality control scheme for marine buoy temperature and salinity data

REN Huan-ping1, 2, ZHANG Bin1, 2, TAN Zhe-tao3, 4, LI Fu-chao1, 2

(1.Institute of Oceanology, the Chinese Academy of Sciences (CAS), Qingdao 266071, China; 2.Center for Ocean Mega-science, CAS, Qingdao 266071, China; 3.Institute of Atmospheric Physics, CAS, Beijing 100029, China; 4.University of Chinese Academy of Sciences, Beijing 100049, China)

marine buoy; seawater temperature and salinity; quality control; PauTacriterion

Based on the error diversity of marine buoy observational data, this study presents a new quality control (QC) system for marine buoy temperature and salinity data.This QC scheme includes six checks with the PauTa criterion as its core.An innovation of this scheme is a new QC algorithm that combines the traditional Spike check and PauTa criterion check.Its robustness has been verified by the seawater temperature and salinity data of buoys in the Yellow Sea and East China Sea.Several spurious measurements or outliers in long time series can be effectively identified.We propose that this new scheme can be used in the QC of buoy observation data in the future.Furthermore, the quality-controlled data could be used for marine scientific research, marine meteorological prediction, marine disaster forecast, and fishery development.

Jan.26, 2021

[The National Key Research and Development Program of China, No.2017YFA0603200; The 14th Five-year Network Security and Informatization Plan of Chinese Academy of Sciences, No.WX145XQ07-08]

P717

A

1000-3096(2021)10-0093-11

10.11759/hykx20210126001

2021-01-26

2021-04-16

國(guó)家重點(diǎn)研發(fā)計(jì)劃資助(2017YFA0603200); 中國(guó)科學(xué)院十四五網(wǎng)絡(luò)安全和信息化專(zhuān)項(xiàng)(WX145XQ07-08)

任煥萍 (1967—), 女, 山西省萬(wàn)榮縣人, 高級(jí)工程師, 主要從事海洋科學(xué)大數(shù)據(jù)研究, 電話(huà): 0532-82896760, E-mail: hpren@qdio.ac.cn

(本文編輯: 趙衛(wèi)紅)