基于 SG 平滑處理的水利算據(jù)有效性改進(jìn)方法

李 軍，傅媛媛，潘躍建，陳日劍

（浙江省水利水電勘測設(shè)計(jì)院有限責(zé)任公司，浙江 杭州 310002）

0 引言

推進(jìn)數(shù)字孿生流域建設(shè)是適應(yīng)現(xiàn)代信息技術(shù)發(fā)展形勢的必然要求，也是強(qiáng)化流域治理管理的迫切要求。數(shù)字孿生流域以物理流域?yàn)閱卧?、時(shí)空數(shù)據(jù)為底座、數(shù)學(xué)模型為核心、水利知識(shí)為驅(qū)動(dòng)，對物理流域全要素和水利治理管理活動(dòng)全過程進(jìn)行數(shù)字化映射、智能化模擬，實(shí)現(xiàn)與物理流域同步仿真運(yùn)行和虛實(shí)交互[1-2]。算據(jù)、算法、算力建設(shè)是數(shù)字孿生建設(shè)的重要支撐，可為實(shí)現(xiàn)具備預(yù)報(bào)、預(yù)警、預(yù)演、預(yù)案功能的“2+N”業(yè)務(wù)應(yīng)用體系提供基礎(chǔ)技術(shù)保障。但水利數(shù)據(jù)通常需要經(jīng)過篩選、清洗、聚合、轉(zhuǎn)換等一系列流程，才能成為有用、有效的算據(jù)，才能和水利行業(yè)模型進(jìn)行無縫結(jié)合產(chǎn)生價(jià)值。因此，算據(jù)建設(shè)是構(gòu)建水利數(shù)據(jù)底板的最重要內(nèi)容之一，不僅為模型提供元素依據(jù)，還為數(shù)字孿生流域多維度、多時(shí)空尺度的高保真模擬和虛實(shí)交互打牢數(shù)字賦能的基礎(chǔ)。

目前水利數(shù)字孿生建設(shè)中用到的水利預(yù)測方法主要是基于流域水文模型的預(yù)測方法，計(jì)算機(jī)科學(xué)的發(fā)展，機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等技術(shù)的應(yīng)用，為水利數(shù)字孿生建設(shè)提供了新的解決方案并取得較多成果，如 LSTM（長短期記憶）循環(huán)神經(jīng)網(wǎng)絡(luò)模型[3]和 BP神經(jīng)網(wǎng)絡(luò)模型[4]等應(yīng)用。同時(shí)很多學(xué)者提出通過雨洪特征的相似度分析查找歷史相似洪水進(jìn)而完成預(yù)測，如陳建等[5]通過雨洪多指標(biāo)相似性計(jì)算進(jìn)行相似洪水的查找，王海潮等[6]將暴雨指標(biāo)化后進(jìn)行相似度分析，預(yù)測暴雨洪水趨勢，歐陽如琳等[7]采用 DTW（動(dòng)態(tài)時(shí)間規(guī)整）算法計(jì)算相似洪水過程。其中基于DTW 的洪水相似度分析使用較為廣泛，因?yàn)楹樗^程不存在嚴(yán)格的時(shí)序?qū)?yīng)關(guān)系，且時(shí)序長短可能相差很大，DTW 可以將時(shí)序數(shù)據(jù)進(jìn)行線性縮放、扭曲操作以達(dá)到時(shí)序語義上的對齊，從而進(jìn)行一對多映射的距離計(jì)算，非常適合復(fù)雜時(shí)序數(shù)據(jù)的彈性度量。

但是無論采用何種模型進(jìn)行洪水預(yù)測，由于算據(jù)質(zhì)量經(jīng)常受到噪聲數(shù)據(jù)、異常數(shù)據(jù)和隨機(jī)誤差等影響，都會(huì)導(dǎo)致模型計(jì)算結(jié)果精度較低和穩(wěn)定性較差，為此需要對算據(jù)進(jìn)行平滑處理，以減少數(shù)據(jù)變化或波動(dòng)。常用的平滑處理算法有移動(dòng)平均濾波、局部加權(quán)回歸散點(diǎn)平滑、線性回歸和 SG 多項(xiàng)式平滑（以下簡稱 SG）等算法，通過試驗(yàn)可知 SG 算法更能保持?jǐn)?shù)據(jù)自身的變化趨勢，更能保證模型計(jì)算結(jié)果的正確性。為此，本研究提出一種基于 SG 平滑處理的水利算據(jù)有效性改進(jìn)方法。

1 DTW和SG 算法介紹

1.1 DTW

在給出算法定義之前，先闡述時(shí)序語義相似[8]的概念。假設(shè)將經(jīng)過平滑處理后的某斷面洪水過程的時(shí)序數(shù)據(jù)分段，遞增段記為 U，下降段記為 D，則生成時(shí)序數(shù)據(jù)的語義模式為 UDUD，如果 2 條曲線的語義模式相同，則這 2 條時(shí)序數(shù)據(jù)曲線是相似的。后續(xù)說的洪水相似度本質(zhì)就是語義相似度。

DTW 用于衡量 2 個(gè)長度不同的時(shí)序數(shù)據(jù)的相似度，被廣泛應(yīng)用于語音、手勢、視頻動(dòng)作識(shí)別，以及數(shù)據(jù)挖掘和信息檢索等模板匹配的場景中。DTW 將未知序列的長度進(jìn)行伸縮，直到與參考模板的長度一致，在此過程中未知序列會(huì)產(chǎn)生扭曲，以便特征量與標(biāo)準(zhǔn)模式對應(yīng)。DTW 定義[9]如下：假設(shè)給定連續(xù)時(shí)序數(shù)據(jù)X={（X1，T1），（X2，T2），…，（Xn，Tn）}和Y={（Y1，T1），（Y2，T2），…，（Ym，Tm）}，函數(shù)d（i，j）=f（Xi，Yj）≥0，為X序列第i點(diǎn)到Y(jié)序列第j點(diǎn)的距離函數(shù)。通常采用歐式距離公式構(gòu)建X和Y的距離矩陣B，公式如下：

式中：n，m分別為X和Y序列的長度，i≤n，j≤m。

基于構(gòu)建的距離矩陣B，找到一條從d（1，1）到d（n，m）的路徑，使得路徑經(jīng)過的元素值之和最小，即求扭曲曲線。假設(shè)路徑為W，W的第k個(gè)元素定義為Wk=（i，j）k，表示第k個(gè)路徑點(diǎn)X與Y的對齊關(guān)系，則有：

式中：Wp為路徑W的最后 1 個(gè)節(jié)點(diǎn)；p為路徑點(diǎn)的個(gè)數(shù)，max（m，n）≤p≤m+n-1，max（m，n）為取m和n中的較大值。

由于時(shí)序數(shù)據(jù)的特點(diǎn)，尋找路徑需要滿足如下限制條件：

1）邊界條件。若W1=（1，1），Wp=（m，n），則彎曲路徑從W1開始，結(jié)束于Wp。若Wk=（a，b），1≤a≤n，1≤b≤m，a和b分別表示W(wǎng)k節(jié)點(diǎn)對應(yīng)矩陣B橫向和縱向的序位。

2）連續(xù)條件。假如Wk-1=（a′，b′），下一個(gè)路徑點(diǎn)Wk=（a，b），則有（a-a′）≤1，（b-b′）≤1，即 2 個(gè)時(shí)序點(diǎn)在對齊時(shí)，不會(huì)出現(xiàn)遺漏和跨越對齊情況。

3）單調(diào)性條件。假設(shè)Wk=（a，b），Wk-1=（a′，b′），則（a-a′）≥0，（b-b′）≥0。

滿足約束條件的規(guī)整路徑有多條，需要最短累計(jì)距離的路徑公式如下：

式中：p用來對不同長度的規(guī)整路徑W進(jìn)行補(bǔ)償。則累積距離φ（i，j）可表示為

式中：初始條件設(shè)置為φ（i，j）=d（X1，Y1），從起始點(diǎn)開始根據(jù)式（3）和（4）進(jìn)行迭代計(jì)算，最終得到最小累加值φ（n，m），該累加值即為時(shí)序數(shù)據(jù)X和Y的最短累計(jì)距離 DTW（X，Y）。

1.2 SG 算法

預(yù)處理常用的平滑方法中[10]，SG 算法的最大特點(diǎn)為在濾除噪聲的同時(shí)可以確保信號的形狀、寬度不變，所以被廣泛運(yùn)用于數(shù)據(jù)平滑除噪的應(yīng)用場景。

SG 算法[11]是一種卷積滑動(dòng)窗口的加權(quán)平均算法，設(shè)濾波窗口的寬度w=2i+1，i∈[1，n]，i為半窗寬度，x代表數(shù)據(jù)點(diǎn)在窗口內(nèi)的相對位置，x∈[-i，i]，數(shù)據(jù)點(diǎn)所在位置對應(yīng)的函數(shù)值為P（x）。根據(jù)窗口內(nèi)的數(shù)據(jù)點(diǎn)，構(gòu)造n階多項(xiàng)式，擬合得到f（x）表達(dá)式[12]：

式中：an0，an1，…，ann表示擬合多項(xiàng)式f（x）的擬合系數(shù)。經(jīng)過最小二乘法擬合，得到殘差E的表達(dá)式為[13]23

式中：殘差E表示擬合曲線與原始數(shù)據(jù)之間的差異，用來衡量擬合曲線與原始數(shù)據(jù)的擬合程度。若要f（x）獲得最佳的擬合質(zhì)量，應(yīng)使殘差E趨于最小，假定式（6）中各項(xiàng)系數(shù)的導(dǎo)數(shù)為εz，z=（1，2，3，…，n），將εz設(shè)置為 0，可得如下公式[13]23：

化簡式（7）可得式（8）[13]24：

當(dāng)滑動(dòng)窗口大小與平滑階數(shù)固定時(shí)，將待擬合窗口[P（-i），…，P（0），…，P（i）]內(nèi)數(shù)據(jù)帶入式（8），可求得多項(xiàng)式系數(shù)列表[an0，an1，…，ann]T，其中 T 表示矩陣轉(zhuǎn)置。

在實(shí)際程序計(jì)算時(shí)通過調(diào)整窗口大小和冪次等參數(shù)，可以平衡平滑效果和保留數(shù)據(jù)細(xì)節(jié)的程度。

2 算據(jù)有效性論證

改進(jìn)數(shù)據(jù)挖掘模型輸入算據(jù)的質(zhì)量是數(shù)據(jù)挖掘的重要步驟[13]，數(shù)據(jù)預(yù)處理技術(shù)可以有效改進(jìn)算據(jù)質(zhì)量，從而保證數(shù)據(jù)挖掘模型的可靠性和高效率。水文數(shù)據(jù)一般通過人工錄入或傳感器采集，因此不可避免產(chǎn)生隨機(jī)誤差和噪聲數(shù)據(jù)，如數(shù)據(jù)采集設(shè)備故障、人為因素產(chǎn)生的誤差，以及數(shù)據(jù)傳輸過程中出現(xiàn)的錯(cuò)誤等。為提高 DTW 的可靠性和預(yù)測能力，本研究在進(jìn)行相似度計(jì)算前，對洪水過程數(shù)據(jù)進(jìn)行平滑處理，并觀察平滑前后 DTW 計(jì)算結(jié)果的變化。隨機(jī)抽取錢塘江流域開化縣水文測站 3 場洪水的過程數(shù)據(jù)，洪水時(shí)間分別為 2004—05—14（場次 1），2004—06—19（場次 2）和 2006—06—27（場次 3），用突跳、缺失和擾動(dòng)對場次 3 進(jìn)行異常處理，得到的洪水場次分別為 3.1，3.2，3.3，各場次洪水過程如圖 1 所示。

圖1 開化縣水文測站各洪水場次洪水過程

根據(jù)場次 1，2，3 洪水過程數(shù)據(jù)，以及異常處理后的洪水場次 3.1，3.2，3.3 數(shù)據(jù)，可得到場次 1 和場次 2，3，3.1，3.2，3.3的DTW 計(jì)算結(jié)果分別為13.65，3.64，17.55，3.61，21.39。經(jīng)過比較可知：場次 1 和場次 3 的相似度高于場次 1 和場次 2 的相似度，且差距明顯；經(jīng)過異常處理的洪水場次數(shù)據(jù)3.1，3.3 和場次 1 的相似度，相對于場次 3 和場次1 相似度發(fā)生了較大偏離，DTW 計(jì)算結(jié)果均大于場次 1 和場次2 的結(jié)果 13.65；因?yàn)?DTW 計(jì)算不需要嚴(yán)格的時(shí)序?qū)?yīng)，故場次 1 和場次 3.2 的結(jié)果幾乎不受影響。由此可知，算據(jù)質(zhì)量較差會(huì)導(dǎo)致 DTW相似度算法發(fā)生偏差甚至失效。此時(shí)對各洪水場次數(shù)據(jù)用 SG 算法進(jìn)行平滑，平滑前后結(jié)果如圖 2所示。

圖2 開化縣水文測站洪水過程平滑處理前后數(shù)據(jù)變化

圖2 中虛線表示平滑后的數(shù)據(jù)，顯然平滑算法對突兀的尖峰進(jìn)行了有效處理。此時(shí)用平滑后的洪水場次數(shù)據(jù)再進(jìn)行 DTW 計(jì)算，可得到場次 1 和場次 2，3，3.1，3.2，3.3的DTW 計(jì)算結(jié)果分別為 16.86，5.61，12.76，5.61，11.15。由圖 2 可知：經(jīng)過平滑處理后的場次 1 和場次 3.1，3.2，3.3 的相似度，均高于場次 1和場次 2 的相似度，符合實(shí)際情況，由此說明平滑算法較好地保留了算據(jù)的趨勢特征，同時(shí)也保證 DTW 結(jié)果的穩(wěn)定性。

3 試驗(yàn)和分析

本研究試驗(yàn)的主要目的是分析 SG 算法的優(yōu)越性，以及平滑處理改進(jìn)算據(jù)的有效性。試驗(yàn)首先對開化縣水文測站的洪水過程樣本數(shù)據(jù)用移動(dòng)平均濾波、局部加權(quán)回歸散點(diǎn)平滑、線性回歸和 SG 等算法進(jìn)行平滑處理，然后用平滑后的洪水過程數(shù)據(jù)進(jìn)行 DTW計(jì)算，以驗(yàn)證不同平滑算法對于 DTW 算法的有效性。使用各平滑算法處理后的各場次的洪水過程如圖 3 所示。

由圖 3 可知：通過算法平滑后，原始數(shù)據(jù)中比較突兀的尖峰得到了很好的處理（尤其是圖 d和f ），增加了數(shù)據(jù)的可視性。用不同算法平滑處理后的洪水場次數(shù)據(jù)進(jìn)行 DTW 計(jì)算，各場次 DTW 結(jié)果如表 1 所示。

表1 中“<>”表示平滑后結(jié)果較平滑前有較大偏離，由表 1 可知：移動(dòng)平均濾波、局部加權(quán)回歸散點(diǎn)平滑和線性回歸等算法均發(fā)生 1 項(xiàng)或者 2 項(xiàng)計(jì)算結(jié)果的偏離，而 SG 算法未導(dǎo)致洪水場次 3.1，3.2 和3.3 的計(jì)算結(jié)果發(fā)生偏離，平滑效果較其他算法好。

表1 平滑處理后各場次洪水和場次 1的DTW 計(jì)算結(jié)果

表2 平滑前后用 DTW 求得的相似洪水

為進(jìn)一步驗(yàn)證 SG 算法能否有效改進(jìn)算據(jù)的有效性，抽取開化縣水文測站 2002—2020 年典型的60 場洪水（按時(shí)間先后順序從 1到60 編號）進(jìn)行分析。平滑前，用各洪水場次 DTW 計(jì)算結(jié)果查找最相似洪水場次，同理，平滑后找到最相似洪水場次，結(jié)果如表 2 所示。然后用相似洪水場次的匹配程度說明 DTW 算法的有效性，匹配程度用相似洪水的洪峰演進(jìn)時(shí)長和當(dāng)前洪水真實(shí)的演進(jìn)時(shí)長的誤差說明，演進(jìn)時(shí)長和誤差如圖 4 所示。

圖4 SG 平滑前后相似洪水洪峰演進(jìn)時(shí)長情況

由圖 4 可得：未經(jīng)平滑處理的算據(jù)求得的相似洪水的洪峰演進(jìn)時(shí)長的平均誤差為 2.02 h，經(jīng)過平滑處理的平均誤差為 1.80 h，即經(jīng)過平滑處理的算據(jù)使DTW 計(jì)算準(zhǔn)確率提高了 10.89%，更能確保算法的穩(wěn)定性、可靠性和預(yù)測能力，由此得到 SG 平滑處理能改進(jìn)算據(jù)有效性的結(jié)論。

4 結(jié)語

算據(jù)有效性對算法的驗(yàn)證和使用起著至關(guān)重要的作用，能保證算法的穩(wěn)定性、可靠性和預(yù)測能力。本研究抽取開化縣水文測站的 3 場洪水?dāng)?shù)據(jù)作為數(shù)據(jù)樣本，對場次 3 洪水?dāng)?shù)據(jù)進(jìn)行異常處理，然后用平滑前后的洪水?dāng)?shù)據(jù)進(jìn)行 DTW 相似度計(jì)算，結(jié)果表明經(jīng)過平滑后的算據(jù)更適應(yīng) DTW 計(jì)算，從而說明平滑處理能改進(jìn)算據(jù)的質(zhì)量，提高算據(jù)的有效性。為了使結(jié)論更有說服力，抽取開化縣水文測站 60 場典型洪水?dāng)?shù)據(jù)進(jìn)行試驗(yàn)，平滑處理后找到的相似洪水比平滑前的匹配度更高，表明本研究觀點(diǎn)符合預(yù)期。

需要提出的是，本研究討論的算據(jù)改進(jìn)方法沒有特定的流域、測站和要素限制，計(jì)算的水位數(shù)據(jù)沒有覆蓋整個(gè)錢塘江流域，計(jì)算的要素沒有包含降雨、流量等。對于不同流域、測站和要素的改進(jìn)效果驗(yàn)證是后續(xù)需要繼續(xù)開展的工作；同時(shí)本研究提出的平滑處理只是改進(jìn)算據(jù)的一個(gè)方面，要充分改進(jìn)算據(jù)的有效性需要采用綜合的方法，根據(jù)不同的數(shù)據(jù)特征采用不同的方法，同時(shí)需要大量的試驗(yàn)進(jìn)行論證，這也是后續(xù)需要開展的工作。