基于熵的數(shù)據(jù)污染率估算*

周訪濱 朱建軍 陳永奇

1)中南大學(xué)地球科學(xué)與信息物理學(xué)院，長沙 410083

2)長沙理工大學(xué)交通運(yùn)輸工程學(xué)院，長沙 410004

3)香港理工大學(xué)土地測量與地理資訊學(xué)系，香港 999077

基于熵的數(shù)據(jù)污染率估算*

周訪濱1，2)朱建軍1)陳永奇1，3)

1)中南大學(xué)地球科學(xué)與信息物理學(xué)院，長沙 410083

2)長沙理工大學(xué)交通運(yùn)輸工程學(xué)院，長沙 410004

3)香港理工大學(xué)土地測量與地理資訊學(xué)系，香港 999077

提出以熵為計(jì)算基礎(chǔ)的數(shù)據(jù)污染率估算方法，避開了傳統(tǒng)粗差判別的限差取值問題。數(shù)據(jù)主體分布模式已知時(shí)，利用樣本數(shù)據(jù)估算總體熵和已知主體分布信息估算主體熵獲取數(shù)據(jù)污染前后的熵變化量，通過熵變化率估算數(shù)據(jù)污染率;數(shù)據(jù)主體分布模式未知時(shí)，通過熵系數(shù)計(jì)算逼近獲取數(shù)據(jù)主體分布信息，再以熵變化率估算數(shù)據(jù)污染率。結(jié)合熵計(jì)算中的截?cái)嗾`差，分析了對(duì)污染率的估算影響，數(shù)值實(shí)驗(yàn)顯示，熵計(jì)算的截?cái)嗾`差對(duì)污染率的估算影響微小，當(dāng)截?cái)嗾`差達(dá)到0.01時(shí)，對(duì)污染率的估算影響為1%。算例表明基于熵的污染率估算方法有效、可靠。

污染分布;污染率;熵;粗差;限差

1 引言

污染分布研究促進(jìn)了近代測量誤差解析和數(shù)據(jù)處理理論的發(fā)展。Tukey［1］提出的污染分布模式在理論上形象表達(dá)了觀測數(shù)據(jù)誤差的實(shí)際存在狀態(tài)，其概率密度函數(shù)的表達(dá)式fC=(1－ε)f+εh，0≤ε≤1中，若不考慮主體分布f和污染分布h的具體表達(dá)形式，則污染率ε的大小是衡量數(shù)據(jù)質(zhì)量優(yōu)劣程度的關(guān)鍵指標(biāo)，但在實(shí)際應(yīng)用中，污染率ε和污染分布h受很多不可知因素制約難于得以顯性表達(dá)，致使污染分布的研究與應(yīng)用限于理論分析。近十年來，在數(shù)理統(tǒng)計(jì)領(lǐng)域有學(xué)者致力于應(yīng)用非參數(shù)估計(jì)方法研究污染分布中相關(guān)參數(shù)并進(jìn)行統(tǒng)計(jì)模擬［2－6］，在測量數(shù)據(jù)處理領(lǐng)域?qū)τ谖廴痉植嫉难芯縿t更多的是抗差估計(jì)理論和粗差探測技術(shù)［7－11］，對(duì)污染率的關(guān)注相對(duì)較少。污染率是表征觀測數(shù)據(jù)質(zhì)量好壞的重要指標(biāo)，確知污染率對(duì)粗差探測是一個(gè)很好的檢核。經(jīng)典測量數(shù)據(jù)粗差探測是假設(shè)觀測誤差服從正態(tài)分布，以兩倍或三倍中誤差作為閥值進(jìn)行粗差統(tǒng)計(jì)和剔除，長期統(tǒng)計(jì)結(jié)果表明，粗差約占觀測總數(shù)的1%～10%［12］。粗差探測常以標(biāo)準(zhǔn)化殘差為參量統(tǒng)計(jì)檢驗(yàn)觀測值是否存在粗差，結(jié)果與給定的置信域或顯著性水平相關(guān)，很大程度上取決于數(shù)據(jù)處理者的經(jīng)驗(yàn)和態(tài)度。但實(shí)際數(shù)據(jù)誤差分布是多樣的，有的遠(yuǎn)離正態(tài)分布，若單一依賴標(biāo)準(zhǔn)正態(tài)分布的t分位表確定的閥值為限，其局限性明顯。筆者認(rèn)為觀測數(shù)據(jù)被污染必然引起熵的改變，以熵的變化度量數(shù)據(jù)的污染程度無需過多依賴先驗(yàn)知識(shí)，尤其是熵系數(shù)可在不作任何假設(shè)的條件下嚴(yán)格確定，藉此本研究嘗試建立以熵為計(jì)算基礎(chǔ)的數(shù)據(jù)污染率估算原理與方法，避開傳統(tǒng)粗差判別時(shí)限差取值的多元性，利用數(shù)據(jù)污染前后的熵變率描述觀測數(shù)據(jù)存在的粗差率，分別探討數(shù)據(jù)在主體分布模式已知和未知兩種情況下的污染率估算方法。以熵為基礎(chǔ)估算污染率，熵計(jì)算的截?cái)嗾`差不可避免，結(jié)合熵計(jì)算中的截?cái)嗾`差分析了對(duì)污染率的估算影響。

2 基于熵的數(shù)據(jù)污染率估算方法

2.1 熵的計(jì)算方法

熵是信息論中用于度量信源不確定性的唯一量，也是隨機(jī)性取值不確定性的一種度量。其隨機(jī)性取值概率越小，相應(yīng)的熵越大;熵最大，則有最不確定性［13］。一般而言，熵定義為信息量的概率加權(quán)統(tǒng)計(jì)平均值［14］，熵的計(jì)算分為離散型和連續(xù)型，即:

當(dāng)隨機(jī)變量X取值離散時(shí)，其熵H(x)定義為:

當(dāng)隨機(jī)變量X取值連續(xù)時(shí)，

式中，p(xi)為事件的概率，f(x)為概率密度函數(shù)。

具有某種概率分布的數(shù)據(jù)序列，其熵與方差之間存在一定的必然關(guān)系。下面推導(dǎo)測量數(shù)據(jù)處理中常見幾種統(tǒng)計(jì)分布［15］熵與方差之間的關(guān)系。推導(dǎo)中，各分布密度函數(shù)均取標(biāo)準(zhǔn)密度函數(shù)，且對(duì)數(shù)取以e為底。

正態(tài)分布:

對(duì)于P-范分布，由于分布函數(shù)相對(duì)復(fù)雜，根據(jù)文獻(xiàn)［16］，

P-范分布熵的求解十分復(fù)雜，由文獻(xiàn)［17］得P-范分布的熵表達(dá)式為

2.2 已知數(shù)據(jù)主體分布模式的污染率估算

依據(jù)熵分析一組觀測數(shù)據(jù)可以得到，若該組數(shù)據(jù)未被污染，其熵值保持恒定;若被污染，其熵值發(fā)生改變;如污染加劇，其熵也相應(yīng)變化加劇，且存在熵變化與觀測數(shù)據(jù)的污染程度存在必然的比例關(guān)系。設(shè)有一組觀測數(shù)據(jù)li+j(i=1，2，…，n;j=1，2，…，m;n?m)，定義了li(i=1，2，…，n)為數(shù)據(jù)的主體部分，而lj(j=1，2，…，m)為數(shù)據(jù)的污染部分，當(dāng)m，n無法準(zhǔn)確知道時(shí)，則不能通過統(tǒng)計(jì)粗差的個(gè)數(shù)計(jì)算污染率，但已知li(i=1，2，…，n)的觀測誤差服從某一確定的分布，一般情況下可以根據(jù)經(jīng)驗(yàn)確定，根據(jù)熵的計(jì)算原理可以順利求解其熵H(li)，同樣可以求出H(li+j)，則取熵的變化估算污染率ε:

2.3 未知數(shù)據(jù)主體分布模式的污染率估算

數(shù)據(jù)主體分布模式已知，實(shí)質(zhì)是利用了先驗(yàn)知識(shí)，這需要一定的專業(yè)水準(zhǔn)和相當(dāng)豐富的工程經(jīng)驗(yàn)或科學(xué)研究基礎(chǔ)，在實(shí)際中往往數(shù)據(jù)主體分布模式是未知的，或者對(duì)數(shù)據(jù)主體分布模式的先驗(yàn)判知不準(zhǔn)確，這種情況下基于熵估算污染率的關(guān)鍵是尋求相對(duì)準(zhǔn)確的數(shù)據(jù)主體分布模式。在測量數(shù)據(jù)處理中常見的分布有正態(tài)分布、拉普拉斯分布和P-范分布，在這個(gè)大前提下，一般的測量觀測數(shù)據(jù)誤差分布必然服從或近似服從常見的這三種分布，因此判別數(shù)據(jù)誤差分布模式成為首要問題。本文建議以熵系數(shù)做出初步判別，因?yàn)橐环N特定的分布它的熵系數(shù)具有唯一性，目前計(jì)算得到常見分布的熵系數(shù)呈明顯規(guī)律性，以均勻分布最小，KU=1.732，拉普拉斯分布次之，KL=1.922，正態(tài)分布最大，KN=2.066;P-范分布相對(duì)特殊，其系數(shù)隨P值發(fā)生變化，其表達(dá)式為:

參考已知數(shù)據(jù)主體分布模式情況下基于熵的污染率估算，若已有一組觀測數(shù)據(jù)li+j(i=1，2，…，n;j=1，2，…，m;n?m)，其中該數(shù)據(jù)的主體部分定為li(i=1，2，…，n)，數(shù)據(jù)的污染部分為li(j=1，2，…，m)，當(dāng)m，n無法準(zhǔn)確知道時(shí)，則依賴統(tǒng)計(jì)粗差個(gè)數(shù)計(jì)算污染率的方法失效，也未知li(i=1，2，…，n)的觀測誤差服從某一確定的分布，此時(shí)首先應(yīng)根據(jù)熵的計(jì)算原理求解熵系數(shù)K(li+j)，依據(jù)K(li+j)與已知分布熵系數(shù)的近似程度估計(jì)數(shù)據(jù)主體部分的分布模式，然后再依照式(7)估算污染率ε。

3 熵計(jì)算的截?cái)嗾`差對(duì)污染率估算的影響分析

基于熵估算污染率離不開觀測數(shù)據(jù)的熵計(jì)算，通常獲取的觀測數(shù)據(jù)都是一定量的樣本，在計(jì)算中必然存在截?cái)嗾`差，樣本量的大小會(huì)影響污染率的估算，尤其是在未知數(shù)據(jù)主體分布模式的情況下，通過樣本數(shù)據(jù)熵系數(shù)計(jì)算判別總體分布將會(huì)有影響，文獻(xiàn)［18］導(dǎo)出了理論上熵計(jì)算最小的截?cái)嗾`差限▽H的表達(dá)式如下:

式中，▽H為理論最小熵的計(jì)算截?cái)嗾`差限，α是給定微小量，0≤α≤1，D為方差。

同時(shí)給出了熵計(jì)算的截?cái)嗾`差與給定微小量α(0≤α≤1)之間的對(duì)應(yīng)關(guān)系，結(jié)果表明α越小截?cái)嗾`差越小。為提高樣本熵的計(jì)算精度，在實(shí)際應(yīng)用中建議采用全局最優(yōu)窗寬的理論和算法［18］求解樣本熵的估計(jì)值。

進(jìn)一步研究熵計(jì)算截?cái)嗾`差對(duì)污染率估算的影響程度，采用標(biāo)準(zhǔn)正態(tài)分布進(jìn)行數(shù)值演算，假設(shè)污染使得原有主體分布的方差膨脹了2倍，得到截?cái)嗾`差與污染率估算的關(guān)系如表1。演算結(jié)果表明，熵計(jì)算的截?cái)嗾`差對(duì)污染率的估算影響微小，當(dāng)截?cái)嗾`差達(dá)到0.01時(shí)，對(duì)污染率的估算為1%。

表1 熵計(jì)算的截?cái)嗾`差與污染率估算的關(guān)系Tab.1 Relation between entropy truncation error and contamination rate estimation

4 算例及分析

算例1，數(shù)據(jù)取自文獻(xiàn)［19］第16頁的經(jīng)緯儀測角實(shí)驗(yàn)數(shù)據(jù)，這些數(shù)據(jù)服從正態(tài)分布，不含粗差，為演算污染率，在已有數(shù)據(jù)中，設(shè)計(jì)3種人為加入粗差的方案，方案Ⅰ:人為加入粗差5個(gè)，其中超過兩倍中誤差的2個(gè)，超過三倍中誤差的3個(gè);方案Ⅱ:人為加入粗差個(gè)數(shù)等同于方案Ⅰ，誤差量較方案Ⅰ減少，其中超過兩倍中誤差的3個(gè)，超過三倍中誤差的2個(gè);方案Ⅲ:人為加入粗差6個(gè)，其中超過兩倍中誤差的3個(gè)，超過三倍中誤差的3個(gè);采用傳統(tǒng)方法以兩倍中誤差及三倍中誤差為限統(tǒng)計(jì)粗差個(gè)數(shù)計(jì)算污染率，并和基于熵計(jì)算結(jié)果對(duì)比，對(duì)比結(jié)果見表2。

表2 已知數(shù)據(jù)主體分布模式污染率ε的估算結(jié)果對(duì)比(單位:%)Tab.2 Contamination rate ε estimation result of known data main distribution model(unit:%)

表2說明，傳統(tǒng)方法以兩倍或三倍中誤差作為限統(tǒng)計(jì)粗差個(gè)數(shù)計(jì)算污染率完全依賴于數(shù)據(jù)處理者對(duì)數(shù)據(jù)的采信率水平高低，二者之間存在比較大的差異，同時(shí)污染率的估算僅與粗差個(gè)數(shù)密切相關(guān)，與粗差個(gè)體大小無關(guān)，而基于熵的污染率估算避開了粗差統(tǒng)計(jì)限差取值問題，計(jì)算結(jié)果完全不依賴于數(shù)據(jù)處理者對(duì)數(shù)據(jù)的采信率水平高低，污染率的估算結(jié)果不僅與粗差的個(gè)數(shù)密切相關(guān)，而且也反映了粗差個(gè)體大小對(duì)數(shù)據(jù)整體的影響。

算例2，數(shù)據(jù)取自文獻(xiàn)［15］中一組大樣本GPS RTK觀測數(shù)據(jù)，這些數(shù)據(jù)通常認(rèn)為服從正態(tài)分布，但藍(lán)悅明［15］分析認(rèn)為這些數(shù)據(jù)的分布不能唯一確定，本研究當(dāng)作未知主體分布模式的例子加以對(duì)待，估算其污染率的大小，將平面分量X、Y和高程分量Z分別考慮，采用熵系數(shù)方法近似確定數(shù)據(jù)主體分布模式，估算該組數(shù)據(jù)的污染率，與傳統(tǒng)方法中采用以兩倍中誤差及三倍中誤差為限統(tǒng)計(jì)粗差個(gè)數(shù)計(jì)算污染率，分析對(duì)比結(jié)果如表3。

表3 未知數(shù)據(jù)主體分布模式污染率ε的估算結(jié)果對(duì)比Tab.3 Contamination rate ε estimation result of unknown data main distribution model

計(jì)算結(jié)果說明基于熵的污染率估算可揭示數(shù)據(jù)觀測質(zhì)量的優(yōu)劣，以H變化計(jì)算的ε十分接近以2σ為限差統(tǒng)計(jì)粗差個(gè)數(shù)計(jì)算的ε，表明以熵的變化估算數(shù)據(jù)污染率可行，亦可靠，它與目前GPS RTK數(shù)據(jù)觀測質(zhì)量的普遍認(rèn)知結(jié)論是一致的。

算例2的運(yùn)算結(jié)果也說明，當(dāng)數(shù)據(jù)的主體分布未知時(shí)，采用熵系數(shù)計(jì)算逼近獲取主體分布信息，再以熵變化率估算數(shù)據(jù)污染率的方法可行。傳統(tǒng)方法采用兩倍中誤差和三倍中誤差為限統(tǒng)計(jì)粗差個(gè)數(shù)計(jì)算污染率差異明顯，當(dāng)樣本數(shù)據(jù)量增大時(shí)，以何種限差剔除粗差更適用取決于數(shù)據(jù)處理者的經(jīng)驗(yàn)和態(tài)度，若取兩倍中誤差剔除粗差增加“棄真”的概率，若取三倍中誤差剔除粗差增大“納偽”的風(fēng)險(xiǎn)，如果取用熵估算的污染率為粗差剔除標(biāo)準(zhǔn)，可有效避開粗差閥值的選取問題。

5 結(jié)論

1)從熵的角度詮釋觀測數(shù)據(jù)的誤差成分，以熵變度量數(shù)據(jù)污染率，避開了傳統(tǒng)粗差判別的限差取值問題;

2)基于熵的數(shù)據(jù)污染率估算必然會(huì)受到熵計(jì)算中的截?cái)嗾`差影響，分析和數(shù)值演算結(jié)果表明，當(dāng)主體分布為標(biāo)準(zhǔn)正態(tài)分布時(shí)，誤差熵計(jì)算的截?cái)嗾`差對(duì)污染率的估算影響微小，截?cái)嗾`差達(dá)到0.01時(shí)，對(duì)污染率估算的影響為1%;

3)以熵估算污染率不僅與粗差的個(gè)數(shù)有關(guān)，而且與粗差本身的大小有關(guān)，說明熵估算對(duì)數(shù)據(jù)誤差的敏感性更高，但能否以此進(jìn)行粗差探測有待進(jìn)一步研究。

1 Tukey J W.A survey of sampling from contaminated distribution，in:contribution to probability and statistics［M］.Stanford:Stanford University Press，1960.

2 劉紅玲，劉建.污染分布的近鄰估計(jì)［J］.數(shù)學(xué)雜志，2010，30(1):178 － 182.(Liu Hongling and Liu Jian.Nearest neighbor estimation of contaminated distribution［J］.J of Math(PRC).，2010，30(1):178－182)

3 王麗燕，張奕，馮恩民.污染分布密度函數(shù)的一種估計(jì)方法［J］.大連理工大學(xué)學(xué)報(bào)，2003，43(5):551 －554.(Wang Liyan，Zhang Yi and Feng Enmin.An estimation method of contamination distribution density function［J］.Journal of Dalian University of Technology，2003，43(5):551－554)

4 楊筱菡.污染分布的非參數(shù)估計(jì)［J］.同濟(jì)大學(xué)學(xué)報(bào)，2001，29(6):700 －702.(Yang Xiaohan.Nonparameter estimation of contaminated data［J］.Journal of Tongji University，2001，29(6):700－702)

5 寧靜.污染分布的非參數(shù)估計(jì)及評(píng)估數(shù)據(jù)的統(tǒng)計(jì)與修正［D］.中國科學(xué)技術(shù)大學(xué)，2002.(Ning Jing.Nonparameter estimation of contaminated distribution and statistics and correction of assessment data［D］.University of Science and Technology of China，2002)

6 王巍.污染分布非參數(shù)推斷的研究［D］.復(fù)旦大學(xué)，1999.(Wang Wei.Study on nonparameter estimation of contaminated distribution［D］.Fudan University，1999)

7 歸慶明，等.粗差探測的Bayes方法［J］.測繪學(xué)報(bào)，2006，35(4):303 －307.(Gui Qingming，et al.Bayesian approach for detection of gross errors［J］.Acta Geodaetica et Cartographica Sinica，2006，35(4):303－307)

8 Gui Qingming，et al.Bayesian Approach for detection of gross errors based on posterior probability［J］.Journal of Geodesy，2007，81:651 －659.

9 李保利，宮軼松，歸慶明.基于方差膨脹模型的粗差探Bayes方法［J］.測繪科學(xué)技術(shù)學(xué)報(bào)，2007，24(6):399 －401，405.(Li Baoli，Gong Yisong and Gui Qingming.Bayesian approach for detection of gross errors based on variance inflation model［J］.Journal of Geomatics Science and?Technology，2007，24(6):399 －401，405)

10 朱建軍.污染誤差模型下測量數(shù)據(jù)處理理論［D］.中南大學(xué)，1998.(Zhu Jianjun.The theory of errors and surveying adjustment under contaminated error model［D］.Central South University，1998)

11 李德仁，袁修孝.誤差處理與可靠性理論［M］.武漢:武漢大學(xué)出版社，2002.(Li Deren and Yuan Xiuxiao.Error processing and reliability theory［M］.Wuhan:Wuhan University Press，2002)

12 周江文，等.抗差最小二乘法［M］.武漢:華中理工大學(xué)出版社，1997.(Zhou Jiangwen，et al.Robust least square method［M］.Wuhan:Huazhong University of Science and Technology Press，1997)

13 林洪樺.現(xiàn)代測量誤差分析及數(shù)據(jù)處理［J］.計(jì)量技術(shù)，1997，(2):39 －44.(Lin Honghua.Modern surveying error analysis and data processing［J］.Measurement Technique，1997，2:39－44)

14 陳麗英.略論信息論在誤差理論中的應(yīng)用［J］.長春郵電學(xué)院學(xué)報(bào)，1999，(2):37 －40.(Chen Liying.Applications of information theory in error measurement［J］.Journal of ChangchunPost and Telecommunication Institute，1999，2:37－40)

15 藍(lán)悅明，王楠.GPS觀測值誤差分布的研究［J］.測繪通報(bào)，2011，(2):6 － 7，13.(Lan Yueming and Wang Nan.The study of probability density function for GPS RTK observations［J］.Bulletin of Surveying and Mapping，2011，2:6 －7，13)

16 孫海燕，潘 雄.一元P-范分布的參數(shù)估計(jì)［J］.武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2003，28(5):551－554.(Sun Haiyan and Pan Xiong.Parameter estimation of the mondic pnorm distribution［J］.Geomatics and Information Science of Wuhan University，2003，28(5):551－554)

17 李大軍，等.未知分布誤差的熵不確定度［J］.測繪通報(bào)，2002，(12):5 －7.(Li Dajun，et al.Entropy uncertainty of unknown distribution error［J］.Bulletin of Surveying and Mapping，2002，12:5－7)

18 游揚(yáng)聲，馬 力，劉 星.誤差熵的估計(jì)問題研究［J］.武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2008，33(7):748 －751.(You Yangsheng，Ma Li and Liu Xing.On estimation of error entropy［J］.Geomatics and Information Science of Wuhan University，2008，33(7):748－751)

19 武漢大學(xué)測繪學(xué)院測量平差學(xué)科組.誤差理論與測量平差基礎(chǔ)［M］.武漢:武漢大學(xué)出版社，2003.(Surveying Adjustment Subject Group of Wuhan University.Error theory and surveying adjustment［M］.Wuhan:Wuhan University Press，2003)

致謝 衷心感謝藍(lán)悅明教授提供源數(shù)據(jù)!

CONTAMINATION RATE ESTIMATION BASED ON ENTROPY

Zhou Fangbin1，2)，Zhu Jianjun1)and Chen Yongqi1，3)
1)School of Geosciences and Info-Physics，Central South University，Changsha410083
2)School of Traffic and Transportation Engineering，Changsha University of Science and Technology，Changsha410004
3)Department of Land Surveying and Geo-informatics，Hong Kong Polytechnic University，Hong Kong999077

An estimation method of contamination rate based on entropy was proposed.It is useful for gross error statistic to avoid limited error selection.Two models of data main distribution were suggested to investigate contamination rate and the estimation methods of contamination rate based on entropy were given out.A numerical simulation was performed to analyze the influence of entropy truncation error on data contamination rate estimation.It is less influence for entropy truncation error to contamination rate estimation based on entropy.When truncation error is 0.01，the variation of contamination rate estimate is only 1%.The examples show that the estimation method of contamination rate based on entropy is reliable and superior to the traditional estimation.

contamination distribution;contamination rate;entropy;gross error;limited error

P207

A

1671-5942(2013)04-0092-05

2013-03-07

國家自然科學(xué)基金(41171397);湖南省重點(diǎn)學(xué)科建設(shè)項(xiàng)目

周訪濱，男，1975年生，博士研究生，主要研究方向?yàn)榇蟮販y量數(shù)據(jù)處理.E－mail:Arthur1975@126.com