基于分類思想的高密度數(shù)據(jù)去噪方法研究

周竹生,楊 俊,黃 平,馬 陽

(1.中南大學(xué) 信息物理工程學(xué)院,湖南長沙 410083;2.中國石油西南油氣田公司 勘探開發(fā)研究院,四川成都 610051)

0 前言

高密度電阻率法是八十年代國際上興起的一種電法勘探的變種,其基本原理與常規(guī)的電阻率法完全相同。因此,它仍是以巖礦石的電性差異為基礎(chǔ)的一類勘探方法,研究的是在施加電場的作用下,地層中傳導(dǎo)電流的分布規(guī)律。它的電極布設(shè)是一次完成的,實(shí)現(xiàn)了數(shù)據(jù)采集收錄自動(dòng)化,智能化。因此,可以方便地采集到大量的數(shù)據(jù),從而可以提供較為豐富的地電結(jié)構(gòu)狀態(tài)和地質(zhì)信息,并且避免了人工操作帶來的誤差。

但是,在實(shí)際高密度電阻率法測量中,由于地質(zhì)地球物理?xiàng)l件是十分復(fù)雜,地表電性不均勻,地形起伏及電極接觸不好或存在其它方面的干擾等原因,都將使視電阻率結(jié)構(gòu)變得十分復(fù)雜,常常使數(shù)據(jù)斷面出現(xiàn)一些虛假點(diǎn)或突變點(diǎn),進(jìn)而造成電阻率擬斷面圖的虛假異常,難于對(duì)其進(jìn)行準(zhǔn)確解釋。尤其是當(dāng)野外條件不允許,無法改善電極接地條件時(shí),那么只能先將數(shù)據(jù)記錄下來,然后再剔除掉斷面記錄中的虛假數(shù)據(jù)。作者在本文中借鑒圖像去噪的方法,并結(jié)合現(xiàn)場情況對(duì)視電阻率進(jìn)行分析處理,盡可能的分辨和消除一些干擾因素的影響,最大程度地恢復(fù)了原始數(shù)據(jù)的有效性。

1 噪點(diǎn)分類[7]

參照?qǐng)D像去噪的方法,將高密度數(shù)據(jù)中的噪聲點(diǎn)分成二個(gè)大類:①受電極接觸不好或儀器供電不良造成的脈沖型噪聲;②受其它地電干擾或隨機(jī)干擾造成的高斯型噪聲。其中又將脈沖型噪聲分成絕對(duì)脈沖噪聲和相對(duì)脈沖噪聲。

1.1 脈沖型噪聲點(diǎn)

對(duì)于高密度數(shù)據(jù)斷面的某個(gè)區(qū)域來說,脈沖噪聲會(huì)造成中心點(diǎn)電阻率值與周圍點(diǎn)電阻率值之間有較大差異。對(duì)于一個(gè)實(shí)際數(shù)據(jù)資料,理想的脈沖噪聲點(diǎn)是電阻率表現(xiàn)為極大值或者為負(fù)值的數(shù)據(jù)點(diǎn)。但是由于高斯噪聲的疊加,導(dǎo)致脈沖噪聲點(diǎn)的電阻率值有一定范圍的改變,因此又把脈沖噪聲分為二種,并分別進(jìn)行判別。

(1)準(zhǔn)理想脈沖噪點(diǎn)。對(duì)于電阻率值小于0,或者大于預(yù)設(shè)定閥值H的數(shù)據(jù)點(diǎn),由于它接近于理想脈沖噪點(diǎn),故稱準(zhǔn)理想脈沖噪點(diǎn)。這個(gè)閥值可以通過做數(shù)據(jù)直方圖,找出數(shù)據(jù)點(diǎn)開始離散分布的高值點(diǎn)的電阻率值作為閥值,在后面噪點(diǎn)判別中會(huì)有說明。

(2)相對(duì)脈沖噪聲點(diǎn)。這類噪聲點(diǎn)的特點(diǎn)是電阻率值在0到閥值H之間,但相比于周圍臨近的其它數(shù)據(jù)點(diǎn)來看,電阻率值偏大或偏小,也可以認(rèn)為此數(shù)據(jù)點(diǎn)為孤立數(shù)據(jù)點(diǎn),可稱為相對(duì)脈沖噪聲點(diǎn)。

1.2 高斯型噪聲點(diǎn)

所謂高斯噪聲,是指它的概率密度函數(shù)服從高斯分布(即正態(tài)分布)的一類噪聲。作者在本文所要研究的是具有高方差的高斯噪聲,它的存在會(huì)使數(shù)據(jù)跳動(dòng)嚴(yán)重,使反演結(jié)果變得不可靠。

2 噪聲檢測與剔除方法

為了準(zhǔn)確地剔除噪聲數(shù)據(jù)點(diǎn),避免有用的數(shù)據(jù)被誤剔除,作者在仔細(xì)分析了各種噪聲特性的基礎(chǔ)上,對(duì)每一種噪聲提出了相應(yīng)的檢測方法,并給出對(duì)應(yīng)的最適合的去除方法。盡力做到了在剔除噪聲點(diǎn)的同時(shí),保留數(shù)據(jù)更多有用的信息。

2.1 絕對(duì)脈沖噪聲點(diǎn)的檢測與剔除

在高密度電法數(shù)據(jù)資料中,脈沖噪聲點(diǎn)總是出現(xiàn)在電阻率極大值區(qū)域里,或者地球物理允許的邊界條件外,在電法勘探中就是電阻率為負(fù)值區(qū)域,且與高斯噪聲點(diǎn)相比脈沖噪聲點(diǎn)較為分散,多以孤立點(diǎn)出現(xiàn),與周圍非噪聲點(diǎn)的電阻率差值較大。這樣就可以設(shè)置高阻閥值H,把電阻率值大于H的數(shù)據(jù)點(diǎn)歸入集合H里面。由于一次測量得到的高密度電法數(shù)據(jù)大多數(shù)分布一定的電阻率范圍內(nèi),所以閥值H的確定可以通過對(duì)數(shù)據(jù)做直方圖,選取數(shù)據(jù)點(diǎn)個(gè)數(shù)變得稀少且開始出現(xiàn)離散分布的電阻率值作為H;然后再把電阻率值小于零的點(diǎn)歸入集合L,用集合M代表脈沖噪點(diǎn)。

顯然,M?(L∪H)。也就是說,脈沖噪聲點(diǎn)電阻率值一定是大于H或者小于0,但電阻率值大于H或者小于0的點(diǎn)并不一定是脈沖噪聲點(diǎn)。這樣就將脈沖噪聲點(diǎn)的檢測從整個(gè)數(shù)據(jù)集縮小到了集合L∪H。再根據(jù)電阻率值不能為負(fù)值這一物理限制,可以得出集合L中的點(diǎn)必為噪聲點(diǎn)。這樣首先就應(yīng)該剔除負(fù)值點(diǎn),避免它的影響通過濾波作用傳遞到其它數(shù)據(jù)點(diǎn)。

對(duì)于集合L中的點(diǎn),采用傳統(tǒng)的中值濾波方法去除。根據(jù)高密度數(shù)據(jù)點(diǎn)的分布特點(diǎn),選取該類噪聲點(diǎn)周圍六個(gè)方向上距離該點(diǎn)最近的數(shù)據(jù)點(diǎn),組成濾波集合(見圖1)。對(duì)于選取的數(shù)據(jù),首先判斷它的值是否小于零,小于零的點(diǎn)就舍去,不加入濾波集合。對(duì)于邊界上的點(diǎn),還是按這些位置去選取數(shù)據(jù),若位置超出數(shù)據(jù)邊界,就不作選取。最后用選取數(shù)據(jù)集的中值來代替原來噪聲點(diǎn)的值。

圖1 數(shù)據(jù)點(diǎn)的選取Fig.1 Data point selection

而對(duì)于集合H中的點(diǎn),就需要判斷它是否為真正的絕對(duì)脈沖噪點(diǎn)。對(duì)于這類點(diǎn)的檢測,是整個(gè)去噪過程的最為關(guān)鍵的一步,其成敗決定了是否能成功將虛假異常點(diǎn)剔除,或者將真正的數(shù)據(jù)異常點(diǎn)誤剔除掉。

標(biāo)準(zhǔn)中值濾波的濾波窗口設(shè)計(jì),一直存在著噪聲抑止與細(xì)節(jié)保護(hù)這個(gè)矛盾,作者在本文綜合考慮了大的濾波窗口對(duì)噪聲抑止好的優(yōu)勢,以及小的濾波窗口對(duì)細(xì)節(jié)保護(hù)好的優(yōu)勢,設(shè)計(jì)了一種新的濾波窗口。在總結(jié)圖像去噪各種方法的基礎(chǔ)上,作者設(shè)計(jì)出了帶自適應(yīng)的改進(jìn)中值濾波算法來檢測和去除該類噪聲點(diǎn)。

由于集合H中的點(diǎn)都滿足電阻率值大于閥值H,還需要判斷的就是它是否真正“孤立”。這樣,在檢測噪聲時(shí),先從相對(duì)“宏觀”的大窗口來觀察集合H中的數(shù)據(jù)點(diǎn)(數(shù)據(jù)點(diǎn)選取見圖2)統(tǒng)計(jì)在中心點(diǎn)周圍六個(gè)方向上,當(dāng)最內(nèi)層上和次內(nèi)層上的數(shù)據(jù)點(diǎn)電阻率大于H的個(gè)數(shù)時(shí),計(jì)數(shù)為n。當(dāng)n大于等于內(nèi)層上數(shù)據(jù)點(diǎn)個(gè)數(shù)時(shí),就可以排除該中心點(diǎn)為脈沖噪點(diǎn);反之,就可以認(rèn)為中心點(diǎn)是“孤立”的。

圖2 改進(jìn)中值濾波算法數(shù)據(jù)點(diǎn)選取Fig.2 Improved median filtering data point selection

對(duì)于判斷為脈沖噪點(diǎn)的中心點(diǎn),首先在內(nèi)層數(shù)據(jù)點(diǎn)中選取滿足R(i,j)

2.2 相對(duì)脈沖噪點(diǎn)的檢測與剔除

對(duì)于電阻率值沒有大于閥值H的數(shù)據(jù)點(diǎn),但它與周圍數(shù)據(jù)點(diǎn)的差值都比較大,都大于某個(gè)閥值T,這樣的點(diǎn)就可以看成相對(duì)孤立點(diǎn),也就是相對(duì)脈沖噪聲點(diǎn)。閥值T的大小,應(yīng)該根據(jù)該數(shù)據(jù)區(qū)域電阻率期望值E(R)來確定。

對(duì)于滿足上述條件的點(diǎn),都可以看成是相對(duì)脈沖點(diǎn),不用再考慮其它條件。而對(duì)于這類噪點(diǎn)的濾除,采用傳統(tǒng)的中值濾波,數(shù)據(jù)點(diǎn)集選取方法同去負(fù)值時(shí)一樣,由于前面已經(jīng)消除了絕對(duì)脈沖噪聲點(diǎn)的影響,周圍的數(shù)據(jù)點(diǎn)就可以全部選取到濾波集合里面,然后對(duì)這個(gè)集合求取中值來取代原來中心點(diǎn)上的數(shù)據(jù)。

2.3 高斯噪聲點(diǎn)的檢測與剔除

由于作者在本文中要處理的是具有高方差特征的高斯噪聲,因此可以使用方差V來檢驗(yàn)?zāi)硥K區(qū)域數(shù)據(jù)是否受高斯噪聲嚴(yán)重污染。首先,將每個(gè)數(shù)據(jù)點(diǎn)和它們周圍臨近數(shù)據(jù)點(diǎn)組成的數(shù)據(jù)樣本的方差,存在一個(gè)矩陣VAR中,這些周圍數(shù)據(jù)點(diǎn)選取的方法同去負(fù)值時(shí)一樣。用閥值V來確定方差是否過大,其中V分別取mean(VAR)、2＊mean(VAR)、4＊mean(VAR),再建立一個(gè)矩陣F。如果VAR>V,則F(i)=1;反之F(i)=0。實(shí)驗(yàn)證明,V的取值應(yīng)該介于某個(gè)范圍內(nèi)。

V=(1+r)＊mean(VAR) (0

3 實(shí)驗(yàn)及結(jié)果分析

本次試驗(yàn)數(shù)據(jù)采用中、緬油氣管道工程緬甸境內(nèi)南塘河隧道高密度測量數(shù)據(jù)。數(shù)據(jù)采集選用的儀器是重慶奔騰數(shù)控研究所最新研制的WDJD-3高密度電法測量系統(tǒng)。由于野外施工條件極其惡劣,加上與當(dāng)?shù)孛窆ふZ言不通,所以野外采集數(shù)據(jù)質(zhì)量沒辦法進(jìn)一步提高,只有通過室內(nèi)數(shù)據(jù)去噪處理,來提高數(shù)據(jù)質(zhì)量。

數(shù)據(jù)處理流程如圖3所示。對(duì)每一步處理后的數(shù)據(jù)都進(jìn)行了反演處理,以便對(duì)比數(shù)據(jù),檢查噪聲濾除效果。

(1)在處理過程中,首先去除負(fù)值,在負(fù)值去除以后,通過作數(shù)據(jù)直方圖[8](見下頁圖4(a))來確定去噪閥值H。在對(duì)數(shù)據(jù)做一次脈沖噪聲去除后,可以通過直方圖分析發(fā)現(xiàn),高于閥值H的數(shù)據(jù)點(diǎn)都已剔除(見下頁圖4(b))。但從直方圖還發(fā)現(xiàn),電阻率值高于20 000的數(shù)據(jù)點(diǎn)數(shù)也很少,為驗(yàn)證其存在的合理性,在取H=20 000做第二次脈沖噪聲去除,結(jié)果發(fā)現(xiàn)處理后數(shù)據(jù)變化不大(見下頁圖4(b)、圖4(c)),說明其存在是合理的。

(2)接下來進(jìn)行相對(duì)噪聲去除,從三維視電阻率圖上可以發(fā)現(xiàn),處理后區(qū)域1的數(shù)據(jù)明顯平滑了(見下頁圖5)。然后進(jìn)行對(duì)高斯噪聲點(diǎn)的去除,從處理前、后的視電阻率反演圖上進(jìn)行對(duì)比發(fā)現(xiàn),數(shù)據(jù)基本上沒有什么變化(見下頁圖6)。

圖3 數(shù)據(jù)處理流程Fig.3 Data processing flow

圖4 高阻去除前、后電阻率分布直方圖Fig.4 Resistivity distribution histogram before and after high-resistance data point eliminated

(3)最后將各個(gè)步驟得到的數(shù)據(jù)進(jìn)行反演成圖(見下頁圖7),可以發(fā)現(xiàn)在以閥值30 000對(duì)數(shù)據(jù)進(jìn)行處理后,反演圖像已經(jīng)沒有什么大的變化了,這里主要的變化就是圖7上最高電阻率值與最低電阻率值的差值在縮小,這是由于對(duì)數(shù)據(jù)平滑導(dǎo)致的,這樣也增加了反演結(jié)果的可靠性。

4 結(jié)論

圖5 去除相對(duì)脈沖噪聲前、后三維視電阻率分布圖Fig.5 Three dimensional apparent resistivity distribution map before and after eliminating relative impulse noise

圖6 去除高斯噪聲后三維視電阻率分布圖Fig.6 Three dimensional apparent resistivity distribution map after eliminating gauss noise

高密度數(shù)據(jù)去噪的核心部份是脈沖噪聲的去除。從處理數(shù)據(jù)的實(shí)例來看,當(dāng)閥值H設(shè)為30 000時(shí),由于數(shù)據(jù)點(diǎn)確實(shí)比較分散,程序?qū)⑺鼈內(nèi)刻蕹?用改進(jìn)算法的中值代替。但當(dāng)?shù)诙螌㈤y值設(shè)為20 000時(shí),只有很少數(shù)點(diǎn)被剔除了,這說明了算法并非盲目的剔除大于閥值的數(shù)據(jù),而是對(duì)它是否真正為孤立點(diǎn)做出正確判斷后才會(huì)進(jìn)行剔除,從而驗(yàn)證了算法的有效性。后面相對(duì)脈沖噪聲去除和高斯噪聲去除后的數(shù)據(jù)已經(jīng)無明顯實(shí)質(zhì)性變化,只是對(duì)數(shù)據(jù)做了修飾性處理。但是,在數(shù)據(jù)變化劇烈時(shí),它可以使電阻率的變化變得相對(duì)平緩,增加反演結(jié)果的可靠性。

圖7 各類噪聲數(shù)據(jù)點(diǎn)去除后的反演圖Fig.7 Inversion results after each kind of noise data points eliminated

[1] 關(guān)新平,趙立興,唐英干.圖像去噪混合濾波方法[J].中國圖像圖形學(xué)報(bào),2005,10(3):332.

[2] 鄒艷碧,高鷹.自適應(yīng)濾波算法綜述[J].廣州大學(xué)學(xué)報(bào)(自然科學(xué)版),2002,(3):251.

[3] 許衛(wèi)全,張新樓,徐中佑.保持圖像細(xì)節(jié)的局部自適應(yīng)去噪濾波器新方法[J].信號(hào)處理,2005,21(2):191.

[4] 王建華,王春平,賈洪濤.自適應(yīng)中值濾波器在圖像降噪技術(shù)中的應(yīng)用[J].測控技術(shù),2004,(5):54.

[5] 胡浩,王明照,楊杰.自適應(yīng)模糊加權(quán)均值濾波器[J].系統(tǒng)工程與電子技術(shù),2002,24(2):15.

[6] 于曉晶.中值濾波器在圖像去噪中的應(yīng)用[J].電腦知識(shí)與技術(shù),2008,(9):1795.

[7] 康泱,嚴(yán)國萍,潘睛.基于象素分類思想的自適應(yīng)圖像去噪算法[J].計(jì)算機(jī)與數(shù)字工程,2006,10(4):18.

[8] 王保平,范九倫,謝維信,等.基于直方圖的自適應(yīng)高斯噪聲濾波器[J].系統(tǒng)工程與電子技術(shù),2004,26(1):1.