海洋水文觀測數據聚類

閆 可 程文芳

1(復旦大學計算機科學技術學院 上海 201203) 2(中國極地研究中心 上海 200136)

海洋水文觀測數據聚類

閆 可1程文芳2

1(復旦大學計算機科學技術學院 上海 201203)2(中國極地研究中心 上海 200136)

在科學考察中，數據的獲取受自然環(huán)境因素以及監(jiān)測成本影響較大，實際布放的監(jiān)測點的數量和位置可能無法達到預期，并且所采集的數據集中通常包含了多種監(jiān)測要素，利用數據分析來彌補因自然環(huán)境影響而造成的數據缺失并找出數據變化規(guī)律顯得尤為重要。以南極普里茲灣水文數據為研究對象，利用空間插值的方法，來彌補數據不足和監(jiān)測點稀疏的問題，再將改進的動態(tài)時間彎曲距離算法用于具有多要素特性的水文深度序列相似度衡量，實驗結果表明相較于傳統(tǒng)的歐氏距離相似度衡量更為準確。基于所提出的相似度衡量算法，對普里茲灣水文數據進行聚類，并獲得了每個簇的空間分布情況。

水文數據 空間插值 動態(tài)時間彎曲 相似度衡量 深度序列 K-means

0 引 言

科學數據挖掘定義為：將數據挖掘應用于科學問題，而不是商業(yè)、經濟等領域，相對于傳統(tǒng)的商業(yè)數據驅動的數據挖掘應用主要的區(qū)別在于數據集的性質，不僅僅是數據本身的性質還包括數據獲取以及處理的過程也有顯著的不同。科學數據是科研人員為了研究某一類學科或者特殊現象而采集的一系列數據集，例如氣象現象、土壤性質、種群遷徙等[1]。通常包含了多種監(jiān)測要素，且要素之間相互影響，如何在包含有多種要素的數據集中挖掘出潛在的規(guī)律是一大挑戰(zhàn)；另外實地科學考察對于科學數據的獲取有重要意義，然而在實際的監(jiān)測點選取以及設備布放的過程中，可能受到地形、地貌、氣候環(huán)境以及監(jiān)測成本等因素影響，從而導致這些監(jiān)測點通常在空間上的分布是非常稀疏的且不規(guī)則，在對這些數據進行數據分析之前需要對其進行預處理來彌補這種數據缺陷。本文以考察環(huán)境極為惡劣的南極普里茲灣海域的水文數據為研究對象。論文主要工作包括：利用空間插值對實際采樣點所采集數據進行插值，解決數據不足以及站點分布稀疏的問題；再將動態(tài)時間彎曲的思想用于水文深度序列的相似性衡量中，并加以改進；基于上述序列相似度衡量算法對經過插值后的水文深度序列進行聚類。

1 南極普里茲灣水文數據

自1984年我國首次對南極附近海域展開調查以來，迄今已經完成了32次南極科考，獲取了大量的水文、氣象、生物、化學、地球物理、地質、地磁等多個學科的觀測資料。目前在雪龍船上配備有SBE911-CTD設備，用于收集在各個站位的水文調查數據，其中所采集的數據規(guī)范到1 m一個記錄，采集的要素有：不同深度下的溫度、鹽度、密度、聲速等。水文觀測方式為，雪龍船航行至指定站位停船，將所攜帶的CTD設備拋入海中，完成不同深度的下的數據采集，實現一定深度范圍內的水文監(jiān)測要素剖面觀測。由于南極氣候條件惡劣以及監(jiān)測成本的限制，無法對該區(qū)域進行密集的數據采樣，導致了的實際數據監(jiān)測點分布稀疏的問題，如圖1是第29次南極科考普里茲灣海域的站位分布情況，共計62個監(jiān)測站位，圖2是10 m水深的鹽度散點圖，每個站位可監(jiān)測不同深度下的水文數據。從圖1中可以直觀的看出，監(jiān)測站位分布比較稀疏。

圖1 第29次南極科考普里茲灣站位分布

圖2 第29次南極科考普里茲灣10 m水深的鹽度散點圖

2 水文數據空間插值

為了彌補監(jiān)測站位稀疏的缺陷，我們引入了空間插值的方法。首先將整個普里茲灣區(qū)域等分成更小的區(qū)域，每個小塊區(qū)域的水文數據均可由空間插值方法獲得。將每個小區(qū)域看成一個監(jiān)測點，可以得到監(jiān)測點分布非常密集的水文數據。最后對這些水文數據進行聚類，可以將水文數據屬于同一類的小塊劃到同一塊區(qū)域中。如圖3，可以直觀地看出水文數據變化特征的空間分布。當然這些小區(qū)域越小，我們的普里茲灣區(qū)域劃分的最終結果也就越精確。

圖3 區(qū)域劃分效果圖

2.1 空間插值算法

目前已經有許多空間插值的方法用于已有數據來估計非采樣點的值，將不規(guī)則分布的數據處理為規(guī)則分布的數據，將空間插值的方法應用到科學數據挖掘中是科學數據集預處理過程重要的一步[2-4]。

反距離加權是最簡單的插值方法之一。 它基于這樣的假設，即非采樣點處的值可以近似為在特定距離內的采樣點或給定數量的最近的采樣的點值的加權平均值，權重通常與距離的冪成反比。

最近鄰插值同樣是一種簡單的插值算法，它只考慮離未知點最近的已知點的影響，而不考慮其他相鄰點的影響，該方法基于由一系列空間離散點繪制的沃羅諾伊圖(Voronoi Diagram)來實現。

克里金插值是最典型的利用地統(tǒng)計學的插值方法，基于隨機函數的概念：區(qū)域內的值被假定為具有特定空間協方差的隨機函數的函數值?？死锝鸶倪M了反距離加權插值中權值的計算，它的權值是能夠使得該點的估計值和真實值的差最小的一系列系數。

樣條插值是典型的基于分段擬合的插值算法，給定一個離散函數fk=f(xk)，k=0,1，…,N，樣條其實是在每對離散點之間的多項式函數，保證內插函數在全局平滑度上保證在某階可導。最簡單的樣條插值為線性樣條，即在特定區(qū)間[xk,xk+1]，插值公式為一個線性函數；三次樣條插值是常用的樣條插值，它的目的是得到一個二階可導且二階導連續(xù)的函數。

2.2 插值算法選取

選取常用的空間插值算法：最近鄰插值、克里金插值、線性樣條插值以及三次樣條插值。第29次南極科考普里茲灣海域共有監(jiān)測點62個，選取其中的55個監(jiān)測點10 m水深處溫度數據利用上述插值算法分別進行插值，如圖4所示。用其余的7個點作為測試點，用于比較各插值算法之間的誤差大小。結果如表1所示。

圖4 插值結果

真實值克里金插值最近鄰插值線性樣條三次樣條-0.8964-1.1583-0.5098-0.4791-0.03270.0934-0.01370.15860.02330.02980.10980.08629-0.2037-0.0532-0.1006-0.5765-0.4424-0.2639-0.3822-0.2760-0.8706-0.8533-1.1739-0.5574-0.6536-0.1723-0.13350.0145-0.0372-0.0450-0.17230.00260-0.2035-0.1053-0.0784

最終得到這4種插值算法在這7個測試點估計值與真實值得平均誤差，其中平均誤差最小的是克里金插值算法為0.108 23 ℃。我們選取誤差最小的克里金插值法，對溫度和鹽度數據進行插值，綜合這兩類水文監(jiān)測要素的變化序列從而得到普里茲灣任意一點的水文變化深度序列，如圖5是僅包含有溫度和鹽度兩個要素的深度序列。

圖5 溫鹽深度序列

由此可以得到我們之前劃分的小塊區(qū)域的溫鹽深度變化序列。由于我們要對這些序列進行聚類，為了消除量綱對聚類算法中距離計算的影響，需要對溫鹽深度序列進行歸一化處理，將數值變?yōu)閇0,1]內的小數，采用線性函數轉換如公式：

(1)

其中x、y分別表示變換前的值和變換后的值，MinValue、MaxValue分別表示數據的最小值和最大值。

考慮到時間序列與深度序列之間的相似性，接下來重點介紹處理后的水文數據聚類。我們將動態(tài)時間彎曲距離計算的思想應用到普里茲灣水文序列的相似度衡量，由于水文數據涉及到多種要素，我們對動態(tài)時間彎曲距離公式進行改進，以適用于水文序列相似度的衡量。

3 改進動態(tài)時間彎曲算法

動態(tài)時間彎曲DTW(Dynamic Time Warping)距離是基于序列形狀相似性計算的方法。DTW通過使用動態(tài)規(guī)劃的思想來發(fā)現所有可能的彎曲路徑，從而在兩個時間序列中選擇最小的距離。也就是在兩個序列中找出最優(yōu)對齊的方案，也可以理解為兩個序列在時間方向上進行扭曲以彼此匹配[5-6]。假設有兩個序列Q(q1,…,qi,…,qn)和C(c1,…,ci,…,cn) ，由于我們通過插值得到的深度序列長度均是相同的，所以這里假設Q的長度和C的長度相同均為n。首先創(chuàng)建一個n×n的距離矩陣，這里定義矩陣元素(i,j)的值如公式：

(2)

其中1≤i,j≤n，di,j=(ci-qj)2，DTWi,j是di,j與(i,j)元素周圍的三個元素的最小累積距離的和，然后通過找出最優(yōu)路徑，定義兩個序列在(n,n)最小的累計距離如公式:

其中P是所有可能的彎曲路徑，wk是彎曲路徑第k個點(i,j) 的值，K是彎曲路徑的長度。表示序列Q和C映射關系的一條彎曲路徑，如圖6所示。

圖6 彎曲路徑

深度變化序列和時間序列在相似性衡量上有相似之處，只是要素值不是隨時間的變化而變化，而是隨深度的變化而變化，如果采用傳統(tǒng)的歐式距離的方法來衡量兩個深度序列之間的相似性是不合理的。對于普里茲灣水文數據，當雪龍船航行至指定的站位時停船，拋下水文監(jiān)測儀器，以此來采樣該監(jiān)測站位的水文數據，采集完成后再航行至下一個站位，這樣的數據采集方式帶來了兩個顯著的問題：

1) 不同站位的數據均是在不同的時刻采集的，站位在航線上位置相距越大，采樣的時間間隔也就越大，水位會隨著時間的推移而變化，由于水位的變化而導致了兩個站位同一深度的數據可比性減弱。

2) 由于實際作業(yè)條件限制，導致了采樣儀器在各個站位的下沉過程速度通常不同。因為采樣間隔為1 m，如果儀器下沉速度過快會導致采樣層的海水收到了來自上層海水的干擾，從而導致實際數據在深度軸上會產生一定偏移。

在時間序列相似性比較中，由于傳統(tǒng)歐式距離對數據在時間軸上的偏移較為敏感，一些輕微的數據偏移都會導致兩個序列之間的歐式距離變得很大。因為歐式距離的計算時必須要保證序列的每個點一一對應，正如之前所提到的普里茲灣水文數據所存在的實際問題，直接利用歐式距離來衡量兩個深度序列的相似性是不合理的，而動態(tài)時間彎曲距離可以有效地彌補歐式距離的這一缺陷。一方面，由水文深度序列與時間序列的相似性，我們利用動態(tài)時間彎曲算法來計算深度序列之間的最短距離，以此來衡量序列之間的相似度；另一方面，DTW僅適用于單個參數的時間序列，而本文研究的普里茲灣水文深度序列涉及到多個要素，即在相同的深度下會采集溫度、鹽度、密度等多個水文參數值。

(4)

但是這樣做最大的缺陷是忽略了水文要素之間的關系，所以這里需要調整傳統(tǒng)DTW中的距離公式d。如圖7所示，向量a與c的歐式距離向量a與向量b的歐式距離均為d，但是它們的向量夾角卻不相同，可以很明顯看出α>β，盡管向量b、c與a的歐式距離相等，但是由于a與c的夾角更小，我們認為c與a更相似。

圖7 向量相似度比較

基于上述觀點，我們重新定義兩個多維向量的距離如公式：

(5)

其中cosα的計算如公式:

(6)

當然在實際使用過程中，DTW或許不能根據我們的需求來給出最好的映射，因為它僅僅是為了找出兩個序列的最小距離，可能會得到我們不想要的結果。為此我們需要進行一個全局的約束來限制彎曲路徑的選擇，Sakoe-Chiba band是最常用的具有全局限制的DTW算法[7-8]。

Sakoe-Chiba band全局約束如圖8，寬度通常設置為時間序列長度的10%，但10%的限制對于實際的數據是很大的，尤其是針對本文中提到的普里茲灣海域水文深度序列的聚類。水文數據對深度是十分敏感的，如果深度相差太多即使距離最短也沒有實際意義，這里我們也需要對改進DTW算法進行一定限制。目前溫鹽深度序列的深度間隔為1 m，考慮到實際的水溫變化規(guī)律，規(guī)定約束寬度設置為深度序列長度的4%即20 m范圍內，采用對匹配路徑約束之后，由于減少了彎曲路徑的范圍和計算次數，聚類時間也隨之減少。

圖8 Sakoe-Chiba band

為了衡量算法的有效性，我們將本文提出的深度序列距離公式與傳統(tǒng)的歐式距離作對比。對第29次南極普里茲灣溫度和鹽度進行空間插值之后，我們可以獲得任意一點的溫鹽深度序列。根據空間插值位置相近屬性也就相近的基本準則，有如下原則：如果選取插值范圍的任意位置的一個點作為中心點，那么離該中心點最近的點的溫鹽深度序列與中心點的溫鹽序列最為相似，即可看作屬于同一類?；谏鲜龅脑瓌t，我們分別選取多個點作為中心點，且保證這些點之間足夠分散，以每個中心點的數據作為一類，以每個中心點周圍的8個方向上最近的點作為測試點，期望對這些測試點分類后將被劃分到它們各自中心點的類中。如果被分到了別的類則視為錯誤的分類，實驗結果如表2所示。本文方法與傳統(tǒng)歐氏距離的正確率比較如圖9所示?？梢灾庇^地看出，本文所提出的水文深度序列相似度衡量方法的準確性相對于以歐氏距離衡量相似度的方法更為準確。

表2 兩種方法分類實驗結果比較

圖9 算法準確率

4 普里茲灣水文數據聚類

考慮到溫度和鹽度時普里茲灣水文數據中相對比較重要的物理量，接下來我們對僅包含溫度和鹽度要素的深度序列進行聚類。數據采用第29次南極科考期間普利茲灣海域所采集的水文觀測數據，監(jiān)測站位共62個，站位東西跨度為68°E至78°E，南北跨度為64.5°W至69.16°W，考慮到保證插值結果的準確性，將插值方位限制在經度68°E至78°E，緯度64.5°S至69°S。考慮到實際測量過程中，表層海水受氣候環(huán)境因素影響較大，將每個站位的溫鹽數據深度范圍限制在10 m至500 m，深度間隔為1 m。我們將所選定的區(qū)域進行細分，劃分為經緯跨度均為0.125°的小塊，共計2 880塊，將以該小塊中心的溫鹽變化代表整個小塊的溫鹽變化。

整個數據預處理過程分為兩個部分。一是利用克里金插值算法將每隔1 m水深的溫度和鹽度分別進行插值，獲得密集且空間上規(guī)則分布的數據集，共2 880條溫鹽深度序列，且每條序列長度為491，其中最高溫度1.12 ℃，最低溫度-2.42 ℃，最大鹽度值34.70 psu，最低鹽度值32.45 psu。二是基于本文所提出的水文深度序列相似度衡量算法，利用K-means聚類算法將處理后的所有溫鹽深度序列進行聚類，最終將2 880條數據劃分成了6個簇，其中每個簇的中心序列如圖10所示，每個簇的空間分布情況如圖11所示。

圖10 聚類結果

圖11 類空間分布

5 結 語

水文數據的采集往往受環(huán)境因素影響，尤其是在極地環(huán)境。由于資源有限，外加采樣環(huán)境極其惡劣，實際監(jiān)測站位的選取往往較為稀疏且分布不規(guī)律。而且由于水文數據的特殊性，傳統(tǒng)的相似度衡量算法不再適用，對數據缺失的水文數據聚類是一項巨大的挑戰(zhàn)。在本文中，首先對已有數據進行預處理，預處理過程包括每一層深度下的數據進行插值，得到普里茲灣任意一點的水文深度序列。之后基于本文所提出的水文序列相似度衡量算法，利用K-means聚類算法實現對南極普里茲灣海域所有水文深度序列聚類，從而獲得多個類簇。利用各個序列的空間位置信息，可以直觀地看出每個簇的空間分布情況，為今后的科學研究提供一定的參考價值。下一步工作方向為進一步優(yōu)化水文深度序列相似度衡量算法，提高算法效率，減少聚類時間。

[1] Embrechts M J, Szymanski B, Sternickel K. Introduction to Scientific Data Mining: Direct Kernel Methods and Applications[M]//Computationally Intelligent Hybrid Systems: The Fusion of Soft Computing and Hard Computing. John Wiley & Sons, Inc. 2005:317-362.

[2] Bello A, Reneses J, Muoz A, et al. Probabilistic forecasting of hourly electricity prices in the medium-term using spatial interpolation techniques[J]. International Journal of Forecasting, 2016, 32(3):966-980.

[3] Bradley J R, Cressie N, Shi T. A comparison of spatial predictors when datasets could be very large[J]. arXiv preprint arXiv:1410.7748,2014.

[4] Li J, Heap A D. Spatial interpolation methods applied in the environmental sciences[J]. Environmental Modelling & Software, 2014, 53(C):173-189.

[5] Kate R J. Using dynamic time warping distances as features for improved time series classification[J]. Data Mining and Knowledge Discovery, 2016, 30(2):1-30.

[6] Shokoohi-Yekta M, Hu B, Jin H, et al. Generalizing DTW to the multi-dimensional case requires an adaptive approach[J]. Data Mining & Knowledge Discovery, 2017,31(1):1-31.

[7] Niennattrakul V, Ratanamahatana C A. Learning DTW Global Constraint for Time Series Classification[J]. Computer Science, 2009.

CLUSTERINGOFMARINEHYDROLOGICALOBSERVATIONDATA

Yan Ke1Cheng Wenfang2

1(SchoolofComputerScience,FudanUniversity,Shanghai201203,China)2(PolarResearchInstituteofChina,Shanghai200136,China)

In the course of scientific investigation, the acquisition of data is greatly affected by the natural environment factors and the monitoring cost. The actual number and location of monitoring points may not be able to meet the expectations and the collected data set usually contains a variety of monitoring elements. It is particularly important to use data analysis to compensate for lack of data caused by the natural environment and find out the law of data change. Based on the hydrological data of Prydz Bay in Antarctica, the use of spatial interpolation method to make up lack of data and sparse monitoring points, then the improved Dynamic time warping distance algorithm is applied to the similarity measure of hydrological depth series with multi-element. The experimental results show that similarity measurement algorithm is more accurate than the traditional Euclidean distance. Based on the similarity measurement proposed in this paper, the Prydz Bay hydrological data are clustered and the spatial distribution of each cluster is obtained.

Hydrological data Spatial interpolation Dynamic time warping Similarity measure Depth sequence K-means

2016-12-26。極地海洋環(huán)境監(jiān)測網系統(tǒng)研發(fā)及應用示范項目(201405031)。閆可，碩士生，主研領域：軟件工程。程文芳，高工。

TP391

A

10.3969/j.issn.1000-386x.2017.11.007