基于M估計(jì)的改進(jìn)Pauta準(zhǔn)則在監(jiān)測(cè)數(shù)據(jù)粗差識(shí)別中的研究及應(yīng)用

李 興，李艷玲，張 鵬，楊 哲

(1. 四川大學(xué) 水力學(xué)與山區(qū)河流開發(fā)保護(hù)國(guó)家重點(diǎn)實(shí)驗(yàn)室 水利水電學(xué)院，成都 610065；2. 中國(guó)市政工程西南設(shè)計(jì)研究總院有限公司 第一設(shè)計(jì)研究院，成都 610081)

0 引 言

進(jìn)入21世紀(jì)以來，隨著監(jiān)測(cè)技術(shù)、計(jì)算機(jī)技術(shù)和通訊網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，測(cè)點(diǎn)個(gè)數(shù)與觀測(cè)頻次隨之增多，監(jiān)測(cè)數(shù)據(jù)量增長(zhǎng)明顯[1]，序列類型也較為豐富。精確識(shí)別監(jiān)測(cè)序列中的異常數(shù)據(jù)是科學(xué)準(zhǔn)確分析評(píng)價(jià)大壩安全狀況和運(yùn)行性態(tài)的前提和保障，而針對(duì)目前多類型的數(shù)據(jù)序列，雖然統(tǒng)計(jì)學(xué)方法[2,3]、小波分析[4]，四分點(diǎn)法[5]和抗差最小二乘法[6]等逐漸應(yīng)用在粗差識(shí)別中，但依然存在適用性低、漏判和誤判等問題。經(jīng)典的統(tǒng)計(jì)判別法Pauta準(zhǔn)則由于其使用簡(jiǎn)便而被廣泛應(yīng)用[7]，但對(duì)監(jiān)測(cè)序列中含有較多離群數(shù)據(jù)如多點(diǎn)離群、臺(tái)階型、震蕩型數(shù)據(jù)極易出現(xiàn)異常值漏判的問題。李麗敏[8]等基于Pauta準(zhǔn)則采用自學(xué)習(xí)和平滑處理檢測(cè)異常數(shù)據(jù)；毛亞純[9]和趙鍵[10]等學(xué)者在Pauta準(zhǔn)則的基礎(chǔ)上提出數(shù)據(jù)跳躍法，但這些方法對(duì)含有較多離群點(diǎn)數(shù)據(jù)的適用性較低。為此，本文針對(duì)大壩安全監(jiān)測(cè)數(shù)據(jù)粗差識(shí)別的Pauta準(zhǔn)則存在的異常值漏判的問題，引入穩(wěn)健M估計(jì)，以位置M估計(jì)量和基于位置M估計(jì)量的尺度估計(jì)量代替均值和標(biāo)準(zhǔn)差重新構(gòu)造控制函數(shù)進(jìn)行粗差識(shí)別。將改進(jìn)Pauta準(zhǔn)則應(yīng)用于耿達(dá)水電站不同類型的測(cè)點(diǎn)序列，通過對(duì)比原始序列、人工剔除離群點(diǎn)序列和基于M估計(jì)量的參數(shù)估計(jì)與粗差識(shí)別結(jié)果探究了Pauta準(zhǔn)則改進(jìn)的可行性和合理性；并分析對(duì)比存在離群點(diǎn)序列和正常序列探究了改進(jìn)Pauta準(zhǔn)則的適用性。

1 基于M估計(jì)量的Pauta準(zhǔn)則改進(jìn)方法

采用Pauta準(zhǔn)則識(shí)別粗差的前提條件是測(cè)值序列服從正態(tài)分布N(μ,σ2)，且樣本數(shù)據(jù)量較大[11]，其控制函數(shù)如式(1)所示：

μ(Xi,n)-3σ(Xi,μ,n)≤Xi≤μ(Xi,n)+3σ(Xi,μ,n)

(1)

式中：Xi為實(shí)測(cè)值；μ為數(shù)據(jù)序列均值；σ為標(biāo)準(zhǔn)差；n為觀測(cè)值個(gè)數(shù)。

大壩安全監(jiān)測(cè)數(shù)據(jù)一般樣本量較大，但通常會(huì)由于監(jiān)測(cè)儀器故障、外界環(huán)境因素?cái)_動(dòng)而導(dǎo)致監(jiān)測(cè)序列中存在離群點(diǎn)，從而偏離Pauta準(zhǔn)則關(guān)于正態(tài)分布的假定，出現(xiàn)異常值漏判問題。本文引入M估計(jì)量改進(jìn)總體位置參數(shù)和總體尺度參數(shù)以代替?zhèn)鹘y(tǒng)的均值μ和標(biāo)準(zhǔn)差σ，從而提高Pauta準(zhǔn)則的耐抗性和穩(wěn)定性。

1.1 總體參數(shù)改進(jìn)

(1)總體位置參數(shù)改進(jìn)。M估計(jì)量是一種加權(quán)均值，其權(quán)重依賴于數(shù)據(jù)，可充分利用監(jiān)測(cè)數(shù)據(jù)序列的有效信息，基于權(quán)重函數(shù)ω的加權(quán)均值Tn為[12]：

(2)

MAD=mediani{|xi-M|}

(3)

式中：xi為樣本序列觀測(cè)量；n為序列樣本個(gè)數(shù)；c為細(xì)調(diào)常數(shù)；M為樣本序列中位數(shù)；median(·)函數(shù)返回給定序列的中位數(shù)；Sn是輔助尺度估計(jì)，通常取中位數(shù)離差MAD，即各個(gè)觀測(cè)量到中位數(shù)M的距離的中位數(shù)。

(2)總體尺度參數(shù)改進(jìn)。標(biāo)準(zhǔn)差是數(shù)據(jù)序列最常用的尺度估計(jì)量，但由于標(biāo)準(zhǔn)差的運(yùn)算需要均值 ，對(duì)樣本中的離群點(diǎn)同樣缺乏耐抗性與穩(wěn)健性[13]。因此基于以上M估計(jì)量有尺度估計(jì)[14]：

(4)

式中：ψ函數(shù)為目標(biāo)函數(shù)的導(dǎo)函數(shù)；ψ′函數(shù)為ψ函數(shù)的導(dǎo)函數(shù)。

(3)M估計(jì)函數(shù)選取。Huber(1972)、Andrews(1972)、Hampel(1974)和Tukey(1977)等人均提出了不同的目標(biāo)函數(shù)形式[15]，本文在對(duì)比不同權(quán)函數(shù)形式的基礎(chǔ)上引入Tukey雙權(quán)估計(jì)量，其目標(biāo)函數(shù)ρ(u)、ψ函數(shù)ψ(u)、ψ′函數(shù)ψ′(u)和權(quán)重函數(shù)ω(u)如圖1所示。

圖1 Tukey雙權(quán) M 估計(jì)量函數(shù)圖Fig.1 Function diagrams of Tukey Tukey Bisquare

1.2 控制函數(shù)改進(jìn)

由魯棒性更好的位置M估計(jì)量Tn和基于位置M估計(jì)量的尺度估計(jì)量ST代替均值μ和標(biāo)準(zhǔn)差σ重新構(gòu)造控制函數(shù)，則式(1)可以改寫為：

Tn-3ST≤Xi≤Tn+3ST

(5)

因此，基于M估計(jì)量的Pauta準(zhǔn)則可計(jì)算得到實(shí)測(cè)值的控制上下限“T±3ST”，當(dāng)實(shí)測(cè)值Xi在控制范圍以內(nèi)，則判斷其為正常值；否則為異常值。

2 工程應(yīng)用

耿達(dá)水電站位于岷江上游右岸支流漁子溪上，主要建筑物由攔河閘、非溢流壩、沉沙池等水工建筑物組成，其監(jiān)測(cè)項(xiàng)目主要包括環(huán)境量監(jiān)測(cè)、大壩變形監(jiān)測(cè)、壩基揚(yáng)壓力監(jiān)測(cè)、繞壩滲流監(jiān)測(cè)等。監(jiān)測(cè)數(shù)據(jù)離群類型主要可以分為單點(diǎn)及多點(diǎn)離群型數(shù)據(jù)、臺(tái)階型數(shù)據(jù)和震蕩型數(shù)據(jù)，因此本文選取典型“多點(diǎn)離群型”測(cè)點(diǎn)L14(水平位移)、“臺(tái)階型”測(cè)點(diǎn)GL09(垂直位移)、“震蕩型”測(cè)點(diǎn)UP05(揚(yáng)壓力)和“正常序列”測(cè)點(diǎn)EX14(水平位移)為例進(jìn)行分析，各測(cè)點(diǎn)序列基本特性如表1所示。

表1 典型測(cè)點(diǎn)序列特性Tab.1 Characteristics of typical measuring point sequences

2.1 總體參數(shù)改進(jìn)效果

(1)總體位置參數(shù)改進(jìn)效果。分別計(jì)算測(cè)點(diǎn)L14、測(cè)點(diǎn)GL09、測(cè)點(diǎn)UP05原始數(shù)據(jù)序列的均值、人工剔除離群點(diǎn)序列均值和位置M估計(jì)量，如表2示?？梢钥闯龊x群點(diǎn)序列的Tukey雙權(quán)估計(jì)量非常接近于人工剔除離群點(diǎn)序列的均值，而原始序列均值與剔除離群點(diǎn)序列的均值相差較遠(yuǎn)；對(duì)比測(cè)點(diǎn)EX14數(shù)據(jù)序列的均值和M估計(jì)量計(jì)算結(jié)果發(fā)現(xiàn)，兩種位置參數(shù)估計(jì)值相差不大。因此，可以明顯看出基于殘差平方和的目標(biāo)函數(shù)計(jì)算的均值對(duì)離群點(diǎn)非常敏感， M估計(jì)量的抗擾動(dòng)性明顯優(yōu)于均值。

表2 典型測(cè)點(diǎn)M估計(jì)量與均值對(duì)比表Tab.2 Comparison of M-estimator and mean of typical measuring points

(2)總體尺度參數(shù)改進(jìn)效果。再分別計(jì)算上述各典型測(cè)點(diǎn)原始數(shù)據(jù)序列的標(biāo)準(zhǔn)差、基于位置M估計(jì)量的尺度估計(jì)量，并將其與剔除離群點(diǎn)后計(jì)算的標(biāo)準(zhǔn)差進(jìn)行對(duì)比，如表3示?？梢钥闯觯x群點(diǎn)序列的基于位置M估計(jì)量的尺度估計(jì)量計(jì)算結(jié)果非常接近于人工剔除離群點(diǎn)序列的標(biāo)準(zhǔn)差，而保留離群點(diǎn)的原始序列計(jì)算的標(biāo)準(zhǔn)差偏差較大；對(duì)比測(cè)點(diǎn)EX14的標(biāo)準(zhǔn)差和基于位置M估計(jì)量的尺度估計(jì)量發(fā)現(xiàn)，兩種尺度估計(jì)的計(jì)算結(jié)果幾乎一致。因此，基于位置M估計(jì)量的尺度估計(jì)量的抗擾動(dòng)性明顯優(yōu)于標(biāo)準(zhǔn)差。

表3 典型測(cè)點(diǎn)基于位置M估計(jì)量的尺度估計(jì)量與標(biāo)準(zhǔn)差對(duì)比表Tab.3 Comparison of the scale estimator based on location M-estimation and standard deviation of typical measuring points

綜上，M估計(jì)量和基于位置M估計(jì)量根據(jù)樣本距離中心程度的遠(yuǎn)近賦予不同的權(quán)重而具有較強(qiáng)抵抗離群點(diǎn)的能力，可得到正常模式下的最佳估計(jì)值；并且當(dāng)無離群點(diǎn)時(shí)兩種方法的參數(shù)估計(jì)結(jié)果一致。

2.2 粗差識(shí)別效果

由改進(jìn)的Pauta準(zhǔn)則計(jì)算上述典型測(cè)點(diǎn)的控制限，并將其與傳統(tǒng)的Pauta準(zhǔn)則控制限進(jìn)行對(duì)比，進(jìn)行粗差識(shí)別，各測(cè)點(diǎn)實(shí)測(cè)值和控制限過程線如圖2-圖5所示。

圖2 測(cè)點(diǎn)L14實(shí)測(cè)值及控制限過程線(多點(diǎn)離群型)Fig.2 Actual values and control limits of measuring point L14 (Multipoint-outliers type)

圖3 測(cè)點(diǎn)GL09實(shí)測(cè)值及控制限過程線(臺(tái)階型)Fig.3 Actual values and control limits of measuring point GL09 (Step type)

圖4 測(cè)點(diǎn)UP05實(shí)測(cè)值及控制限過程線(震蕩型)Fig.4 Actual values and control limits of measuring point UP05 (Oscillatory type)

圖5 測(cè)點(diǎn)EX14實(shí)測(cè)值及控制限過程線(正常序列)Fig.5 Actual values and control limits of measuring point EX14 (Normal sequence)

當(dāng)監(jiān)測(cè)數(shù)據(jù)無可避免地存在較多離群點(diǎn)時(shí)，監(jiān)測(cè)序列將不再符合Pauta準(zhǔn)則關(guān)于正態(tài)分布的假定，均值和標(biāo)準(zhǔn)差不再反映數(shù)據(jù)序列特性規(guī)律，由此計(jì)算的控制限“μ±3σ”將會(huì)被拉向離群點(diǎn)而變寬，使得傳統(tǒng)Pauta準(zhǔn)則出現(xiàn)異常數(shù)據(jù)漏判的問題，如測(cè)點(diǎn)L14在2009年10月6日出現(xiàn)的測(cè)值-5.90，測(cè)點(diǎn)GL09在2017年12月31日出現(xiàn)的測(cè)值11.41以及測(cè)點(diǎn)UP05在2017年11月26日出現(xiàn)的測(cè)值1 480.97采用傳統(tǒng)Pauta準(zhǔn)則時(shí)均未被識(shí)別為異常突變，而采用改進(jìn)的Pauta準(zhǔn)則則消減了離群點(diǎn)的不利影響，有效解決了傳統(tǒng)方法的漏判問題，粗差識(shí)別精度大大提高，計(jì)算結(jié)果如表4示。

對(duì)于正常測(cè)值序列，兩種準(zhǔn)則的控制限差別不大，識(shí)別效果一致。如正常序列測(cè)點(diǎn)EX14在2017年12月31日出現(xiàn)的異常突變值15.15，傳統(tǒng)Pauta準(zhǔn)則與改進(jìn)準(zhǔn)則均識(shí)別為異常測(cè)值，如圖5和表4示。因此，改進(jìn)的Pauta準(zhǔn)則可同時(shí)適用于服從正態(tài)分布和含有較多離群數(shù)據(jù)而偏離正態(tài)分布的數(shù)據(jù)序列，適用性較強(qiáng)。

表4 傳統(tǒng)Pauta準(zhǔn)則與改進(jìn)Pauta準(zhǔn)則粗差識(shí)別效果對(duì)比表Tab.4 Comparison of gross error identification effect of traditional and improved Pauta criterion

3 結(jié) 論

本文針對(duì)大壩安全監(jiān)測(cè)數(shù)據(jù)粗差識(shí)別中常用的Pauta準(zhǔn)則進(jìn)行了較為深入的研究，通過對(duì)傳統(tǒng)方法的改進(jìn)，為識(shí)別監(jiān)測(cè)數(shù)據(jù)中的異常數(shù)據(jù)提供了一種高效合理的方法，并將其運(yùn)用于耿達(dá)水電站，得到的結(jié)論如下：

(1)針對(duì)傳統(tǒng)Pauta準(zhǔn)則粗差識(shí)別中的異常值漏判問題，引入穩(wěn)健M估計(jì)構(gòu)造了新的控制函數(shù)，位置M估計(jì)量和基于位置M估計(jì)量的尺度估計(jì)量消除了離群點(diǎn)對(duì)均值和標(biāo)準(zhǔn)差計(jì)算的不利影響，控制限的設(shè)置更加合理。

(2)通過對(duì)比分析耿達(dá)水電站不同離群類型的典型測(cè)點(diǎn)原始序列、剔除離群點(diǎn)序列、原始序列基于M估計(jì)量以及離群序列和正常序列的總體參數(shù)計(jì)算結(jié)果發(fā)現(xiàn)，當(dāng)實(shí)際監(jiān)測(cè)數(shù)據(jù)含有較多離群點(diǎn)時(shí)基于M估計(jì)的參數(shù)估計(jì)不會(huì)嚴(yán)重偏離真實(shí)水平；當(dāng)實(shí)際監(jiān)測(cè)數(shù)據(jù)無離群點(diǎn)時(shí)，基于M估計(jì)的參數(shù)估計(jì)與傳統(tǒng)方法基本一致。

(3)通過對(duì)比分析耿達(dá)水電站不同類型的典型測(cè)點(diǎn)采用傳統(tǒng)Pauta準(zhǔn)則和改進(jìn)準(zhǔn)則的識(shí)別效果發(fā)現(xiàn)，實(shí)際監(jiān)測(cè)數(shù)據(jù)偏離正態(tài)分布時(shí)改進(jìn)Pauta準(zhǔn)則可以有效減少異常值漏判問題；當(dāng)實(shí)際監(jiān)測(cè)數(shù)據(jù)服從正態(tài)分布時(shí)，兩種方法識(shí)別效果一致。

□