基于影響因子分解法的大壩監(jiān)測數(shù)據(jù)異常檢測算法

李松軒　丁勇　李登華

摘要：如何快速檢測出大壩安全監(jiān)測系統(tǒng)內(nèi)的異常數(shù)據(jù)（例如粗差和告警值）對于大壩安全運(yùn)行具有極其重要的意義，但傳統(tǒng)方法容易漏檢較小數(shù)值異常而對后續(xù)建模產(chǎn)生不利影響。提出了一種基于影響因子分解的異常值檢測方法，通過快速小波變換及離散傅里葉變換提取監(jiān)測序列中的顯著趨勢與周期，剝離環(huán)境因子的影響，構(gòu)建余項(xiàng)序列，并結(jié)合小概率事件思想準(zhǔn)確判定余項(xiàng)序列中保留的異常值，從而精確檢測出監(jiān)測序列中較小數(shù)值異常。實(shí)例驗(yàn)證結(jié)果表明：此方法具有較好的實(shí)用性與穩(wěn)定性，各類監(jiān)測序列中異常檢測準(zhǔn)確率均達(dá)98%以上，查準(zhǔn)率與查全率均值分別為93%與92%，與傳統(tǒng)檢測方法相比，檢測精確程度及泛化能力明顯提升。

關(guān) 鍵 詞：大壩安全監(jiān)測； 異常數(shù)據(jù)模擬； 異常數(shù)據(jù)檢測； 影響因子分解法

中圖法分類號： TV698.2

文獻(xiàn)標(biāo)志碼： A

DOI：10.16232/j.cnki.1001-4179.2023.04.034

0 引 言

中國現(xiàn)有水庫大壩98 002座，隨著大壩安全監(jiān)測自動化采集普及率的提高，獲取的觀測數(shù)據(jù)量大幅度增加［1］。在以原型觀測資料為基礎(chǔ)，建立研究模型之前，必須對監(jiān)測資料的可靠性加以判斷，分析出異常的監(jiān)測值［2-3］。這是后續(xù)正確分析研究的必備條件，但監(jiān)測數(shù)據(jù)的獲取過程不可避免會受到人為誤差、外界干擾、設(shè)備故障等因素影響，因此數(shù)據(jù)中往往會存在一定數(shù)量的異常值，這些異常數(shù)據(jù)會對后續(xù)分析造成不良影響。

早期學(xué)者們研究時(shí)主要采用基于統(tǒng)計(jì)學(xué)的假設(shè)檢驗(yàn)等方法進(jìn)行大壩異常值的處理［4-5］，這些方法未考慮監(jiān)測量及環(huán)境因子變化的關(guān)聯(lián)性，容易出現(xiàn)大量漏判及誤判。隨著自動化采集及分析技術(shù)的發(fā)展，小波分析成為了一種檢測數(shù)據(jù)異常值的新方法［6-8］，能減弱序列趨勢對于異常檢測的干擾，提升檢測準(zhǔn)確率。為建立智慧水利等水利工程平臺，有學(xué)者采用基于改進(jìn)概率的識別方法，實(shí)現(xiàn)了計(jì)算機(jī)自動化檢測的應(yīng)用［9-11］，但單一的統(tǒng)計(jì)方法難以適應(yīng)現(xiàn)階段海量的監(jiān)測數(shù)據(jù)。近年來隨著神經(jīng)網(wǎng)絡(luò)的興起，大量新的檢測研究轉(zhuǎn)向了利用奇異譜分解和密度聚類等進(jìn)行異常數(shù)據(jù)檢測［12-17］。在機(jī)器學(xué)習(xí)研究方向，也有學(xué)者采用聚類等方法，引入LSTM（長短期記憶神經(jīng)網(wǎng)絡(luò)）模型、神經(jīng)網(wǎng)絡(luò)模型及模態(tài)分解等進(jìn)行異常數(shù)據(jù)的檢測［18-22］，神經(jīng)網(wǎng)絡(luò)等模型能夠較好地?cái)M合環(huán)境因子與監(jiān)測量的關(guān)系，但監(jiān)測序列中的異常值會影響模型精度，且該影響隨著監(jiān)測序列異常占比的增大而增大，同時(shí)具體環(huán)境因子的選擇方式也會對后續(xù)擬合精度產(chǎn)生影響。

有鑒于此，為了更好地提升異常檢測算法的穩(wěn)定性與魯棒性，本文提出一種基于因子分解法的異常檢測算法，能夠較好地剝離監(jiān)測序列中顯著的環(huán)境因子影響，一定程度上避免序列中異常值對于檢測的影響，且對于受不同環(huán)境因子控制的監(jiān)測量均能較好適應(yīng)。通過在大壩效應(yīng)量模擬序列和實(shí)測序列中添加異常數(shù)據(jù)，運(yùn)用本文所提出的算法進(jìn)行異常檢測，驗(yàn)證了該算法的有效性。

1 基于分解擬合的影響因子提取方法

基于統(tǒng)計(jì)學(xué)的影響因子法將大壩各類效應(yīng)量看成是多個影響因子作用效果的疊加。一般考慮水位因子、溫度因子和時(shí)效因子等3類因子的影響，對于部分繞壩滲流觀測點(diǎn)還應(yīng)考慮降水量等因子的影響。本文借鑒這種分解疊加的思路，嘗試在原序列中剝離這些環(huán)境因子的影響，并將剩余的分量記為原序列的余項(xiàng)序列。

對于長期運(yùn)行的大壩構(gòu)筑物來說，趨勢項(xiàng)主要包括壩體整體的力學(xué)性能變化以及材料的劣化等。提取序列趨勢的方式包括奇異譜分解和時(shí)間序列分解等，本文采用基于Mallat算法的離散小波分解和重構(gòu)方法，不斷進(jìn)行分解操作達(dá)到分解深度，最終可以得到原序列高低頻率下的分量。本文將原序列進(jìn)行各頻率的分解后，采用低頻率的信號進(jìn)行重構(gòu)，得到原序列的低頻率趨勢序列。定義上述兩個離散濾波器Hx，L（x），其中x表示序列，h，l為兩個正交鏡像濾波序列：

根據(jù)上述定義的高通與低通兩個分解濾波器H，L，令aj=x，j表示分解層數(shù)，aj表示第j層待分解序列，aj－1，bj－1分別表示由aj分解得到的低頻及高頻序列；以因子形式表示對應(yīng)的分解與重構(gòu)過程，其中D，U分別為下取樣算子與上取樣算子，L～，H～分別表示L，H的逆運(yùn)算，則有：

和連續(xù)周期數(shù)據(jù)相比，離散周期數(shù)據(jù)的離散傅里葉級數(shù)頻譜是周期性的，因?yàn)闀r(shí)域的連續(xù)對應(yīng)于頻率的非周期，時(shí)域的離散對應(yīng)于頻率的周期。在（0，2π）的頻域區(qū)間上取N個點(diǎn)，給出離散傅里葉變換的指數(shù)表達(dá)形式，周期為N的序列，其離散傅里葉級數(shù)為

式中：k表示離散數(shù)據(jù)序號，ak為對應(yīng)頻率下的振幅，此時(shí)對應(yīng)的頻率為n/N。選取分解后振幅最大時(shí)對應(yīng)的頻率作為原序列最可能的頻率，通過倒數(shù)即可得到對應(yīng)情況最可能的周期。

大壩安全監(jiān)測中各效應(yīng)量的溫度因子受氣象環(huán)境溫度控制。采用快速傅里葉變換的方法，尋找序列中可能性最大的幾個候選周期，結(jié)合實(shí)際經(jīng)驗(yàn)以年為長度確定溫度項(xiàng)周期。將這個周期設(shè)置為后續(xù)擬合的諧波溫度因子的周期，以最小二乘方式擬合，給出本文采用的諧波因子的具體表達(dá)形式：

式中：δtemp表示剝離的溫度周期因子，a，b，c，d為待定的擬合參數(shù)，x表示監(jiān)測時(shí)間對應(yīng)的序號，T為通過快速傅里葉變換得到的最可能周期。若快速傅里葉變換未能給出符合條件的最可能周期，則直接將剝離趨勢項(xiàng)序列作為原序列的余項(xiàng)序列。

對于各監(jiān)測效應(yīng)量，尤其是大壩面板及壩體內(nèi)部的檢測量而言，庫水位等水位荷載因子對監(jiān)測量起到一定的控制作用。對于大壩庫水位實(shí)測序列，也可以采用上述方法得到若干庫水位的候選周期。結(jié)合該壩主要功能及工程經(jīng)驗(yàn)，若庫水位序列的周期Tw與監(jiān)測序列周期T存在倍數(shù)關(guān)系，則需單獨(dú)剝離水位因子，否則不提取。水位因子的具體表達(dá)形式應(yīng)與實(shí)際水位監(jiān)測數(shù)據(jù)形式相對應(yīng)，其基本表達(dá)形式應(yīng)滿足如下條件：

式中：δw表示剝離的水位周期因子，f（x）表示水位周期的擬合，且需滿足其周期為Tw。

通過自動化監(jiān)測系統(tǒng)可得到各類大壩監(jiān)測實(shí)測數(shù)據(jù)序列，經(jīng)由本文中基于影響因子分解擬合法，剝離環(huán)境因子的影響，即可將剩余分量記為監(jiān)測序列的余項(xiàng)序列用于后續(xù)異常數(shù)據(jù)的識別。在理想監(jiān)測條件下，余項(xiàng)序列中的數(shù)據(jù)波動幅度較小，且具有一定隨機(jī)性，只有當(dāng)監(jiān)測序列中的數(shù)據(jù)出現(xiàn)異常時(shí)，這些異常才會隨著影響因子的分解剝離而保留至余項(xiàng)序列中。這些異常值具有一定離群性，在余項(xiàng)序列中會明顯偏離其中大部分的正常值。因此，可以基于余項(xiàng)序列的特征，設(shè)置合理的篩選閾值以實(shí)現(xiàn)準(zhǔn)確識別監(jiān)測序列中異常值。本文仿照異常識別中常見的序列n倍標(biāo)準(zhǔn)差設(shè)立異常判斷閾值，具體判別如式（7）所示。其中μres和σres分別表示余項(xiàng)序列的均值和標(biāo)準(zhǔn)差，δi表示余項(xiàng)序列中第i個值。通過設(shè)定余項(xiàng)序列n倍（n=1～4）標(biāo)準(zhǔn)差的方式確定判斷閾值，依次對余頂序列中的值進(jìn)行比較，若余項(xiàng)序列與均值之差的絕對值未超過自身標(biāo)準(zhǔn)差的n倍，則認(rèn)為此測值為正常值；否則，認(rèn)為該測值屬于異常值。整體算法執(zhí)行流程如圖1所示。

2 實(shí)例試驗(yàn)

2.1 實(shí)例數(shù)據(jù)源

本文各類大壩監(jiān)測數(shù)據(jù)來源于新疆開都河流域柳樹溝大壩，該大壩場景具有一定特殊性。由于具有發(fā)電功能，該壩庫水位長期保持在1 494.00 m左右的高效率發(fā)電水位，且并無明顯趨勢性與周期性，常年變化幅度僅為±0.5 m。可以認(rèn)為此場景下庫水位的變化對于大壩監(jiān)測量不單獨(dú)產(chǎn)生明顯影響，水位因子影響可以近似忽略。新疆地區(qū)處于干旱氣候，年降水量小于180 mm。一般每年5～7月為豐水期，該時(shí)期日均降水量約為1.35 mm，其余月份日均降水量僅約0.20 mm，因此也可近似忽略降水量因子的影響。為更好地說明基于影響因子分解法的適應(yīng)性，本文以試驗(yàn)?zāi)M序列與大壩實(shí)測數(shù)據(jù)序列（顯著規(guī)律序列與非顯著規(guī)律序列）兩大類序列作為樣本進(jìn)行異常檢測試驗(yàn)。

（1） 試驗(yàn)?zāi)M序列。依據(jù)大壩面板測縫計(jì)監(jiān)測數(shù)據(jù)序列的情況，采用標(biāo)準(zhǔn)正弦波諧波因子的方式模擬以年為周期的大壩周期溫度項(xiàng)，在后續(xù)試驗(yàn)中以A序列表示（見圖2）。

（2） 大壩實(shí)測數(shù)據(jù)序列。引用面板堆石壩近10 a的監(jiān)測資料，包含大壩自動化監(jiān)測系統(tǒng)投運(yùn)后較完整的監(jiān)測數(shù)據(jù)，該壩自動化監(jiān)測頻率為1 d/次。自動化監(jiān)測系統(tǒng)中總計(jì)各類測點(diǎn)約800個，包括測縫計(jì)、鋼筋應(yīng)力計(jì)、混凝土應(yīng)變計(jì)、大壩滲壓計(jì)等近20類不同監(jiān)測儀器。其中混凝土面板測縫計(jì)、面板鋼筋應(yīng)力計(jì)等在歷史過程線上體現(xiàn)出比較顯著的年周期性；而大壩滲壓計(jì)、土壓力計(jì)等在過程線上則沒有明顯的單調(diào)性和周期性。為全面驗(yàn)證異常檢測算法的效果，從上述儀器對應(yīng)的測點(diǎn)過程線中分別選取了數(shù)據(jù)質(zhì)量較好的10條顯著規(guī)律序列和10條非顯著規(guī)律序列作為代表示例展示，后續(xù)試驗(yàn)中分別以B類序列、C類序列表示。顯著規(guī)律大壩實(shí)測序列（B類）與非顯著規(guī)律大壩實(shí)測序列（C類）的典型歷史過程線如圖3～4所示。

2.2 異常數(shù)據(jù)添加方法及余項(xiàng)序列標(biāo)準(zhǔn)差數(shù)量選取

鑒于實(shí)際壩工構(gòu)筑物的受力特性以及環(huán)境變化因素的復(fù)雜性和不確定性，為了更好地探究算法對于不同效應(yīng)量異常的適應(yīng)性情況，本文提出了一種基于隨機(jī)異常添加方式以及異常檢測效果評價(jià)的方法，可分為：

（1） 在異常出現(xiàn)位置上分為孤立添加，連續(xù)添加，混合添加3種；

（2） 在添加數(shù)量上分為少量添加（1.5%左右），中等量添加（4.5%左右），大量添加（10%左右）3種；

（3） 在添加大小上分為小數(shù)值添加（1倍標(biāo)準(zhǔn)差），中等數(shù)值添加（1～2倍標(biāo)準(zhǔn)差），大數(shù)值添加（2～3倍標(biāo)準(zhǔn)差），混合數(shù)值添加（1～6倍標(biāo)準(zhǔn)差）4種。

按照本文提出的多類型多水平的異常添加算法描述，共計(jì)分為36種情況對不包含異常數(shù)據(jù)的試驗(yàn)序列進(jìn)行異常添加，具體代號如表1所列。

本文異常添加方法情況較多，但按照整體規(guī)律基本可以分為“離群型”“臺階型”及“震蕩型”，分別對應(yīng)孤立添加、連續(xù)添加及混合添加，為了更簡潔有效地展示，以C類代表測點(diǎn)為例展示上述幾類異常添加示意圖，分別如圖5～7所示。

圖5為孤立條件下異常添加示意，序列中部分孤立的點(diǎn)發(fā)生了偏離，這與常見的“離群型”異常值相似，但本文通過在一定范圍內(nèi)指定異常值的偏離大小和位置，使得序列中的異常值分布及大小更具不確定性。

圖6為連續(xù)條件下異常添加示意，在連續(xù)添加條件下，序列中部分短序列產(chǎn)生了整體偏移，這與常見的“臺階型”異常值相似，本文通過隨機(jī)指定“臺階型”異常的位置與長度，更能客觀全面地模擬出實(shí)際異常分布的不確定性。

圖7為混合條件下異常添加示意，此添加條件下，實(shí)際與常見的“震蕩型”異常值相似，但本文中混合添加條件下還考慮了實(shí)際工程中異常的復(fù)雜性，使得添加的異常值更具混合性，從而最大限度地檢驗(yàn)算法的檢測效果。

為了更好地模擬實(shí)際異常的不確定性，重復(fù)上述添加100次并進(jìn)行監(jiān)測檢測。通過參考傳統(tǒng)異常檢測文獻(xiàn)［10-15］，本文先選取余項(xiàng)序列3倍標(biāo)準(zhǔn)差進(jìn)行試驗(yàn)，后續(xù)再分別設(shè)定篩選標(biāo)準(zhǔn)差的數(shù)量為1～4進(jìn)行4組試驗(yàn)，分析不同標(biāo)準(zhǔn)差數(shù)量對上述A類、B類、C類共21條試驗(yàn)檢測效果的影響。

2.3 試驗(yàn)結(jié)果分析

采用分類問題中最常見的查準(zhǔn)率（P），查全率（R）及準(zhǔn)確率（A）指標(biāo)表示算法異常檢測效果。將經(jīng)過多類型多水平異常添加的數(shù)據(jù)標(biāo)記為正樣本，序列中的剩余樣本標(biāo)記為負(fù)樣本。具體表達(dá)式如下。

式中：TP表示檢測到的正樣本；FP表示未檢測到的正樣本；FN表示未檢測到的負(fù)樣本；TN表示檢測到的負(fù)樣本。本場景下以異常值作為正樣本，正常值作為負(fù)樣本。

按照上述多類型多水平的異常添加方法對A，B，C三類序列進(jìn)行異常檢測試驗(yàn)。針對本文方法而言，根據(jù)試驗(yàn)檢測數(shù)據(jù)規(guī)律，檢測效果主要由異常添加數(shù)值大小水平控制，異常添加位置和異常添加數(shù)量對檢測效果僅產(chǎn)生小范圍可控的波動。為方便展示，采用小數(shù)值（c1～c9）、中等數(shù)值（c10～c18）、大數(shù)值（c19～c27）和混合數(shù)值（c28～c36）分組內(nèi)數(shù)據(jù)的平均值作為算法整體檢測效果結(jié)果，在后續(xù)表格中以“小”“中”“大”及“混”代替。在此基礎(chǔ)上為了更好地說明幾種算法對于不同試驗(yàn)序列的適應(yīng)性，本文給出A類序列、B類序列及C類序列的統(tǒng)計(jì)平均值及標(biāo)準(zhǔn)差，用以表示算法的整體檢測效果及對各序列的適應(yīng)情況。各類別具體查準(zhǔn)率、查全率及準(zhǔn)確率指標(biāo)如表2～4所列。

查準(zhǔn)率也稱精確率，由表2中本文算法與其他方法的查準(zhǔn)率可知，對于A類序列而言，因其構(gòu)成較符合理想條件下的序列，因此本文方法能得到較完美的結(jié)果；對于B類序列而言，查準(zhǔn)率均值達(dá)到0.94以上，且標(biāo)準(zhǔn)差較小，表明本文方法對于不同的序列均有較好的適應(yīng)性。對比模擬序列發(fā)現(xiàn)相關(guān)指標(biāo)有所下降，原因是這些實(shí)測序列的周期規(guī)律并非完全標(biāo)準(zhǔn)，經(jīng)過分解后的余項(xiàng)序列中不可避免地?cái)y帶了一些不確定規(guī)律的影響，導(dǎo)致檢測得到的異常中包括了一些數(shù)值偏大的正常值。

查全率也稱召回率，傳統(tǒng)方法對于實(shí)測序列而言檢測效果較差。針對B、C兩類實(shí)測序列，本文所提檢測算法相較于絕對中位差法與四分位控制法而言，算法精確性、魯棒性更好。同時(shí)縱觀小數(shù)值異常，其他傳統(tǒng)檢測方法在小數(shù)值異常添加下查全率僅有0.15，而本文算法的查全率仍穩(wěn)定于0.90，試驗(yàn)結(jié)果表明本文所提算法對小數(shù)值異常的識別精度大幅提高。

準(zhǔn)確率主要表示檢測分類正確的樣本占總樣本的比例，包括檢測得到的真異常及真正常值占序列總長的比例，是綜合判斷檢測算法整體檢測性能的指標(biāo)。綜合表4中3類序列的準(zhǔn)確率均值及標(biāo)準(zhǔn)差，可以得出本文算法的檢測準(zhǔn)確率及穩(wěn)定性顯著優(yōu)于另兩種傳統(tǒng)檢測方法，對于不同規(guī)律的實(shí)測序列均能有效地檢測異常。

綜上，本文算法在3類序列的異常檢測試驗(yàn)中均展現(xiàn)出較大的優(yōu)勢。在此基礎(chǔ)上，以選取標(biāo)準(zhǔn)差的數(shù)量作為變量，分別選取1～4倍標(biāo)準(zhǔn)差進(jìn)行異常添加數(shù)值分組檢測試驗(yàn)。為展示方便，分別給出A類、B類、C類序列查準(zhǔn)率、查全率及準(zhǔn)確率與余項(xiàng)序列檢測閾值間的變化情況，如圖8所示。

由圖8中折線的變化規(guī)律可知，選取1倍標(biāo)準(zhǔn)差時(shí)，能得到最高的查全率，但對應(yīng)的查準(zhǔn)率均為最低值。這表明選取1倍標(biāo)準(zhǔn)差過于嚴(yán)格，能夠檢測出絕大多數(shù)的添加異常，但也大量誤判了大部分正常值，查準(zhǔn)率較低；選取4倍標(biāo)準(zhǔn)差則過于寬松，查準(zhǔn)率較高，但查全率過低，雖然能夠保證檢測出的均為真異常，但檢測的范圍過小，大部分異常值未能檢測，不具有實(shí)用性；對于2倍及3倍標(biāo)準(zhǔn)差而言，在A類序列上表現(xiàn)相近，但在B類及C類實(shí)測序列上，查全率相近的條件下，3倍標(biāo)準(zhǔn)差下的查準(zhǔn)率及準(zhǔn)確率均優(yōu)于2倍標(biāo)準(zhǔn)差情況。綜上，選取3倍標(biāo)準(zhǔn)差作為余項(xiàng)序列的判斷閾值能夠在保證查全率較高的條件下得到最佳的查準(zhǔn)率及準(zhǔn)確率，達(dá)到算法最佳檢測效果。

3 結(jié) 論

本文通過在序列中添加多類型多水平的異常，并于模擬序列與大壩實(shí)測數(shù)據(jù)進(jìn)行異常檢測試驗(yàn)，驗(yàn)證對比了本文方法與傳統(tǒng)檢測方法的異常檢測效果，主要結(jié)論如下：

（1） 基于影響因子分解法的思路，本文提出了一種從序列中剝離顯著環(huán)境影響因子的影響，得到余項(xiàng)序列并通過對余項(xiàng)序列進(jìn)行異常閾值篩選，從而準(zhǔn)確有效地檢測出原序列中的異常值的檢測方法。該方法能夠準(zhǔn)確有效地檢測異常，具有一定實(shí)用性。

（2） 本文提出了一種基于數(shù)值大小、添加數(shù)量及添加位置的多類型多水平的異常添加方式，在“離群型”“臺階型”“震蕩型”異常的基礎(chǔ)上增加隨機(jī)性，能夠較好地模擬出實(shí)際情況中可能出現(xiàn)的各類異常，進(jìn)而能在不同情況下驗(yàn)證異常檢測算法的有效性及穩(wěn)定性。

（3） 本文提出的異常檢測算法對于模擬序列（A類）在各類異常添加條件下檢測準(zhǔn)確率達(dá)到0.99以上；對于顯著規(guī)律監(jiān)測序列及非顯著規(guī)律序列（B類及C類）各類異常添加水平下準(zhǔn)確率達(dá)到0.98以上。通過對比1～4倍標(biāo)準(zhǔn)差檢測效果，得出在選取3倍標(biāo)準(zhǔn)差作為篩選閾值時(shí)，本文方法能夠達(dá)到最佳檢測效果。

參考文獻(xiàn)：

［1］蔣云鐘，冶運(yùn)濤，趙紅莉，等.水利大數(shù)據(jù)研究現(xiàn)狀與展望［J］.水力發(fā)電學(xué)報(bào)，2020，39（10）：1-32.

［2］李明超，任秋兵，孔銳，等.多維復(fù)雜關(guān)聯(lián)因素下的大壩變形動態(tài)建模與預(yù)測分析［J］.水利學(xué)報(bào)，2019，50（6）：687-698.

［3］方海泉，薛惠鋒，蔣云鐘，等.基于EEMD的水資源監(jiān)測數(shù)據(jù)異常值檢測與校正［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48（9）：257-263.

［4］馮小磊，華錫生，黃紅女.觀測值序列的粗差探測方法［J］.水電自動化與大壩監(jiān)測，2006，30（3）：56-59.

［5］楊哲，李艷玲，張鵬，等.基于M估計(jì)量及標(biāo)準(zhǔn)四分位間距的安全監(jiān)測數(shù)據(jù)異常識別的改進(jìn)方法［J］.長江科學(xué)院院報(bào)，2020，37（6）：77-80.

［6］徐洪鐘，吳中如，李雪紅，等.基于小波分析的大壩觀測數(shù)據(jù)異常值檢測［J］.水電能源科學(xué)，2002，20（4）：20-21.

［7］劉彩云.基于時(shí)間序列挖掘技術(shù)的南水北調(diào)工程安全監(jiān)測數(shù)據(jù)異常檢測［D］.鄭州：華北水利水電大學(xué)，2019.

［8］呂世德，徐暉，鄧念武.大壩觀測資料異常值的處理方法探［J］.大壩觀測與土工測試，1998（6）：18-19.

［9］袁曉峰.大壩安全監(jiān)測資料分析若干問題研究［D］.南昌：南昌大學(xué)，2007.

［10］景繼，顧沖時(shí).數(shù)學(xué)形態(tài)濾波在大壩安全監(jiān)控?cái)?shù)據(jù)粗差檢測中的應(yīng)用［J］.武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2009，34（9）：1126-1129.

［11］趙鍵，張慧莉.大壩自動監(jiān)測數(shù)據(jù)異常值識別的改進(jìn)數(shù)據(jù)跳躍法［J］.中國農(nóng)村水利水電，2014（2）：85-87.

［12］吳雄偉，程偉平.基于奇異值分解算法的大壩監(jiān)測數(shù)據(jù)回歸模型［J］.水電自動化與大壩監(jiān)測，2007，31（3）：53-55.

［13］蔣齊嘉，蔣中明，唐棟，等.基于SSA-DBSCAN的邊坡安全監(jiān)測數(shù)據(jù)粗差探測方法研究［J］.長江科學(xué)院院報(bào)，2022，39（4）：85-90，98.

［14］張海龍，范振東，陳敏.孤立森林算法在大壩監(jiān)測數(shù)據(jù)異常識別中的應(yīng)用［J］.人民黃河，2020，42（8）：154-157.

［15］楊鴿，范振東，傅春江，等.基于奇異譜分析的大壩安全監(jiān)測數(shù)據(jù)異常值識別技術(shù)研究［J］.水力發(fā)電，2021，47（8）：125-129.

［16］李明超，李明昊，任秋兵，等.基于密度分簇的長周期監(jiān)測數(shù)據(jù)異常識別方法［J］.水力發(fā)電學(xué)報(bào)，2021，40（3）：124- 133.

［17］鄒曉磊，薛桂玉.大壩監(jiān)測數(shù)據(jù)異常值識別方法探討［J］.水電能源科學(xué)，2009，27（5）：83-85.

［18］葉斌.基于LSTM模型的大壩安全監(jiān)測數(shù)據(jù)異常值檢測［D］.武漢：長江科學(xué)院，2020.

［19］朱斯楊，李艷玲，盧祥，等.基于隸屬云的安全監(jiān)測異常數(shù)據(jù)識別方法研究［J］.人民長江，2021，52（2）：197-200.

［20］王曉玲，謝懷宇，王佳俊，等.基于Bootstrap和ICS-MKELM算法的大壩變形預(yù)測［J］.水力發(fā)電學(xué)報(bào)，2020，39（3）：106-120.

［21］吳斌平，岳攀，鄢玉玲，等.考慮時(shí)間影響的神經(jīng)網(wǎng)絡(luò)組合模型對心墻堆石壩變形的預(yù)測研究［J］.水力發(fā)電學(xué)報(bào)，2016，35（9）：78-86.

［22］胡德秀，屈旭東，楊杰，等.基于 M-ELM 的大壩變形安全監(jiān)控模型［J］.水利水電科技進(jìn)展，2019，39（3）：75-80.

（編輯：胡旭東）

Detection method for dam abnormal monitoring data based on influcing factor decomposition

LI Songxuan1，DING Yong1，LI Denghua2，3

（1.School of Science，Nanjing University of Science and Technology，Nanjing 210094，China； 2.Nanjing Hydraulic Research Institute，Nanjing 210029，China； 3.MWR Key Laboratory of Reservoir Dam Safety，Nanjing 210029，China）

Abstract：

Rapid detection of abnormal data in the dam safety monitoring system （such as coarse difference and alarm value） is significant for the safe operation of dams.But traditional methods are prone to miss the detection of small numerical anomalies thus adversely affect subsequent modeling.In this paper，an abnormal monitoring data detection method based on influcing factor decomposition is proposed.It can extract the significant trends and periods in the monitoring sequence by the rapid wavelet transform and the discrete fourier transform，strip away the influence of environmental factors to construct the remainder sequence，and further accurately determine the abnormal monitoring data retained in the remainder sequence in combination with the idea of small probability events.Finally it accurately detects the abnormal data in the monitoring sequence.The numerical results showed that the proposed method has good practicality and stability，the accuracy rate of abnormal detection of various monitoring sequences is more than 98%，and the average values of precision and recall rate are 93% and 92% respectively，showing certainly improved accuracy and generalization ability compared with the traditional detection methods.

Key words： dam safety monitoring；abnormal data simulation；abnormal data detection；influcing factor decomposition method

收稿日期：2022-04-18

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目（51979174）；國家自然科學(xué)基金聯(lián)合基金項(xiàng)目（U2040221）；浙江省水利廳科技計(jì)劃項(xiàng)目（RB2035）

作者簡介：李松軒，男，碩士研究生，主要從事大壩監(jiān)測數(shù)據(jù)分析應(yīng)用研究。E-mail：253853726@qq.com

通信作者：丁 勇，男，副教授，博士，主要從事結(jié)構(gòu)健康監(jiān)測應(yīng)用研究。E-mail：njustding@163.com