基于統(tǒng)計特征加權(quán)的模糊聚類方法及其應(yīng)用

葉海軍

摘 要:從傳統(tǒng)目標(biāo)函數(shù)聚類方法的思想出發(fā),在基于樣本集統(tǒng)計特征的基礎(chǔ)上,提出基于統(tǒng)計特征加權(quán)模糊C-均值聚類方法,并提出基于統(tǒng)計特征的權(quán)值計算方法。分別利用圖像的一維灰度特征與一維灰度統(tǒng)計特征加權(quán)和二維灰度特征與二維灰度統(tǒng)計特征加權(quán),將兩種特征加權(quán)的模糊聚類方法應(yīng)用于灰度圖像二值化,并將該方法的處理結(jié)果與其他二值化方法處理結(jié)果進(jìn)行詳細(xì)的比較。實驗結(jié)果表明,該方法能夠有效地實現(xiàn)圖像的二值化。

關(guān)鍵詞:統(tǒng)計特征;模糊C-均值聚類;圖像二值化;權(quán)值

中圖分類號:TP391.4文獻(xiàn)標(biāo)識碼:B

文章編號:1004-373X(2009)12-099-04

Fuzzy Clustering Method and Its Application Based on Statistical Characteristics Weighting

YE Haijun

(China Academy of Electronic and Information Technology,Beijing,100041,China)

Abstract:A weighting fuzzy C-means clustering method based on statistical characteristics and the weighting value′s calculation method based on statistical characteristics are proposed,which sets out from the traditional target function clustering method.The two kinds of weighting fuzzy clustering method are applied to image binarizatation by utilizing one-dimensional gray characteristic of image and one-dimensional gray statistical characteristic which is weighting value,two-dimensional gray characteristic of image and two-dimensional gray statistical characteristics which are weighting value.The paper shows result comparison of image binarizatation with other image binarizatation methods detailedly.The application examples show that the method can realize image binarizatation availably.

Keywords:statistical characteristics;fuzzy C-means clustering;image binarizatation;weight

0 引 言

模糊聚類分析是多元統(tǒng)計分析的一種,也是無監(jiān)督模式識別的一個重要分支。模糊聚類分析被廣泛應(yīng)用于模式識別、圖像處理、知識發(fā)現(xiàn)、計算機(jī)視覺和模糊控制等許多領(lǐng)域。模糊聚類分析已有很多方法,在基于目標(biāo)函數(shù)的聚類方法中最具有代表性的是模糊C-均值聚類方法(Fuzzy C-means,FCM)[1,2],最初又稱ISODATA聚類方法,它是由Dunn[3]從硬C-均值聚類方法(Hard C-means,HCM) [4]引出的,后又經(jīng)過Bezdek歸納并加以完善。FCM方法是通過對目標(biāo)函數(shù)的迭代優(yōu)化實現(xiàn)對給定有限樣本集的劃分[4]。在當(dāng)前基于目標(biāo)函數(shù)的模糊聚類分析方法研究中,都是基于這一基本思想而提出的算法。

這里從分析給定樣本集合中樣本點本身、樣本點與聚類中心距離、樣本點隸屬度和樣本點統(tǒng)計特征出發(fā),提出了基于統(tǒng)計特征加權(quán)的模糊C-均值聚類方法(Weighting Fuzzy C-means,WFCM),并將該方法應(yīng)用于灰度圖像的二值化。

1 模糊C-均值聚類方法(FCM)

對于給定的有限樣本集X={x1,x2,…,xk,…,xn},xk(k=1,2,…,n)是第k個樣本的特征向量。假如X被分成C類,則X的模糊劃分空間Ef可表示為:

Ef={μik|μik∈[0,1]};對任意k,∑ci=1μik=1;對任意i,0<∑ni=1μik

式中:μik表示樣本集X中第k個樣本點xk隸屬于第i類的隸屬程度,即對于X中的任意樣本點xk,其隸屬于第i類的隸屬度在區(qū)間[0,1],并且X中每個樣本點xk隸屬于C類的隸屬度之和為1。設(shè)pi(i=1,2,…,c)表示樣本集中第i類的聚類中心,pi=(pi1,pi2,…,pis)∈Rc,則可定義FCM方法的目標(biāo)函數(shù)為:

Jm (U,P) = ∑ci = 1∑nk = 1μmik (dik )2

s.t.U∈Ef,m∈[1,+∞)(1)

式中:U=[μik]c×n是隸屬度矩陣;P是聚類中心矩陣;m是模糊加權(quán)指數(shù),又稱平滑參數(shù),用以控制模糊聚類的模糊程度。m越大,模糊程度越大;m越小,模糊程度越小。由于m用來控制隸屬度在各類之間共享的程度,所以m越大,模糊性就越大。引入模糊加權(quán)指數(shù)m的含義是:如果不對隸屬度進(jìn)行加權(quán),則從硬聚類目標(biāo)函數(shù)擴(kuò)展到模糊聚類目標(biāo)函數(shù)就沒有什么實際意義。目標(biāo)函數(shù)Jm(U,P)的值反映了某種差異性定義下的類內(nèi)緊致性,Jm(U,P)越小,聚類越緊致。dik是一種距離范數(shù),表示樣本元素xk與第i類的聚類中心pi之間的距離dik,是元素點與聚類中心的相似程度,一般可以表述為:

d2ik=‖xk -pi ‖A=(xk-pi)TA(xk-pi)(2)

式中:A是s×s階的對稱正定矩陣;用I表示單位矩陣,當(dāng)A=I時,dik表示歐氏距離(Euclid);當(dāng)A≠I時,dik表示馬氏距離(Mahalanobis)。

為了使得模糊聚類的目標(biāo)函數(shù)達(dá)到最優(yōu)解,可取聚類的準(zhǔn)則,即在極值∑ci=1μik=1的約束條件下,使得min[Jm(U,P)]。因此,該問題可以理解為帶約束條件的最優(yōu)化問題,即在隸屬度∑ci=1μik=1的約束條件下,使得min[∑ci=1Wk(μik)m(dik)2]。依據(jù)最優(yōu)化計算方法,可以運用拉格朗日乘數(shù)法求解上述最優(yōu)化問題,即得到U和P。首先利用目標(biāo)函數(shù)Jm(U,P)和隸屬度約束條件來構(gòu)造拉格朗函數(shù):

Y = ∑ci = 1(μmik )(dik )2 + λ(∑ci = 1μik -1)(3)

由礘m(U,P)/礟i=0,即可得到聚類中心:

Pi=∑nk = 1(μmik )xk/∑nk = 1(μmik )(4)

由礩/鄲蘨k=0,即可得到隸屬度:

μik=1/∑cj=1(dik/djk)2m-1(5)

根據(jù)聚類中心、隸屬度和目標(biāo)函數(shù)之間的迭代運算,即可求得樣本集的聚類中心值和各樣本點的隸屬度值。依據(jù)上文敘述,FCM方法的具體步驟如下:

(1)初始化:取模糊加權(quán)指數(shù)m,聚類的類別數(shù)c(2≤c≤n),n為數(shù)據(jù)樣本點的個數(shù),迭代停止閾值ε為一小正數(shù),初始的隸屬度值U(0),以及迭代次數(shù)l=0;選擇任一距離內(nèi)積范數(shù)‖?‖;

(2)由初始化值,根據(jù)公式P(l)i =∑nk = 1(μmik )(l)xk /∑nk = 1(μmik)(l)可得到聚類中心P(l)i ;

(3)由聚類中心P(l)i 可得到隸屬度U(l+1);

(4)當(dāng)|Jm(U,P)(l+1)-Jm(U,P)(l)|≤ε時,迭代停止;否則l=l+1,重復(fù)步驟(2)和步驟(3)。

2 基于特征加權(quán)的模糊C-均值聚類方法(WFCM)

本文提出的基于特征加權(quán)的FCM方法,其加權(quán)的目標(biāo)函數(shù)主要考慮了4個重要因素:樣本點本身的特性、樣本與聚類中心的模糊關(guān)系、樣本點與聚類中心的距離、樣本統(tǒng)計特性對模糊聚類的影響程度。現(xiàn)定義加權(quán)的FCM目標(biāo)函數(shù)為:

Jm (U,P,W) = ∑ci = 1∑nk = 1Wk μmik (dik )2

s.t.U∈Ef,m∈[1,+∞](6)

式中:Wk為樣本元素xk的權(quán)系數(shù),主要作用在于將聚類中心向權(quán)值大的樣本調(diào)整;∑nk=1Wk=1,當(dāng)Wk=1/n時,WFCM變?yōu)镕CM,即每個樣本對任意聚類中心的作用相同。根據(jù)FCM方法的求解原理,其WFCM方法的具體步驟如下:

(1)初始化:取模糊加權(quán)指數(shù)m,聚類的類別數(shù)c(2≤c≤n),n為數(shù)據(jù)樣本點的個數(shù),迭代停止閾值ε為一小正數(shù),初始的隸屬度值U(0),以及迭代次數(shù)l=0;選擇任一距離內(nèi)積范數(shù)‖?‖;

(2)由初始化值,根據(jù)公式:

P(l)i =∑nk = 1W(l)k(μmik)(l)xk/∑nk = 1W(l)k(μmik)(l)

可得到聚類中心P(l)i;

(3)由聚類中心P(l)i可得到隸屬度U(l+1);

(4)當(dāng)|Jm(U,P,W)(l+1)-Jm(U,P,W)(l)|≤ε時,迭代停止;否則l=l+1,重復(fù)步驟(2)和(3)。

3 基于統(tǒng)計特征的權(quán)值計算方法

對于給定的有限特征樣本集X={x1,x2,…,xk,…,xn},xk=(xk1,xk2,…,xkt,…,xkm) (k=1,2,…,n)是描述第k個樣本的m維特征向量。由于樣本集中樣本點本身的特征向量個數(shù)與特征樣本點總數(shù)之比反映了該樣本點在特征樣本集合中的統(tǒng)計分布情況,所以基于統(tǒng)計特征的權(quán)值計算方法為:

Wk=特征向量等于xk的樣本數(shù)樣本點總數(shù)n(7)

式(7)中:Wk值的大小表示特征樣本點xk對特征樣本集的重要程度。

4 WFCM方法在灰度圖像二值化中的應(yīng)用

文獻(xiàn)[5-7]給出了基于灰度直方圖的圖像模糊聚類分割方法。這里依據(jù)上文提出方法的思想,分別給出一維灰度統(tǒng)計特征和二維灰度統(tǒng)計特征兩種情況下的加權(quán)模糊C-均值聚類算法的圖像二值化結(jié)果。

4.1 基于一維灰度統(tǒng)計特征加權(quán)的WFCM方法應(yīng)用

設(shè)原灰度圖像I(i,j),其圖像大小為M×N(i=1,2,…,M;j=1,2,…,N),則一維灰度統(tǒng)計特征可定義為:

H(i)=n(i)/(M×N),i=0,1,2,…,255(8)

式中:n(i)是灰度值為i的像素在圖像I(i,j)中出現(xiàn)的次數(shù);H(i)為概率。此時的權(quán)值定義為:Wi=H(i)(i=0,1,2,…,255)。這時輸入算法的特征就是原圖像I(i,j)的一維灰度值,即xk=(xk1,0),xk1=I(i,j),k=1,2,…,M×N。

4.2 基于二維灰度統(tǒng)計特征加權(quán)的WFCM方法應(yīng)用

由于圖像每點像素值與其鄰域空間的像素值有很大的相關(guān)性,因此可利用圖像的這一特點構(gòu)建二維灰度統(tǒng)計特性。對原灰度圖像I(i,j),J(i,j)是I(i,j)經(jīng)過二維中值濾波器濾波以后得到的圖像。因為中值濾波對干擾脈沖或點狀噪聲等有良好的抑制作用,所以利用該濾波器對原圖像濾波能取得好的平滑去噪作用。設(shè)一個濾波器窗口為A,尺寸為N=(2k+1)(2k+1),則對于圖像{Iij,(i,j)∈Z2}(這里(i,j)為取遍Z2的某子集)的二維中值濾波器有以下定義:

Jij=med{Ii+r,j+s,(r,s)∈A}

在此,中值濾波所采用的窗口大小為3×3或5×5,即以輸入圖像I(i,j)各點為中心的3×3或5×5鄰域的中值作為輸出圖像J(i,j)該點處的像素值,則[I(i,j),J(i,j)]就組成了一個二元特征向量組。此時,即可定義二維灰度統(tǒng)計特征權(quán)值H(s,t),s是原始圖像I(i,j)的灰度值;t是I(i,j)經(jīng)過二維中值濾波以后的灰度圖像J(i,j)的灰度值。由此二維灰度統(tǒng)計特征就可定義為:

H(s,t)=n(s,t)M×N, s=0,1,2,…,255;

t=0,1,2,…,255(9)

式中:n(s,t)表示灰度值分別為s和t的像素在圖像I(i,j)和圖像J(i,j)中出現(xiàn)的次數(shù);H(s,t)為概率?？闪顜Х诸悩颖窘M成的二元組Ni=(s,t),(i=0,1,2,…,256×256-1)。此時權(quán)值可定義為Wi=H(s,t) (i=0,1,2,…,256×256-1),此時輸入算法的特征就是原圖像I(i,j)灰度值和濾波以后的圖像J(i,j)灰度值,共二維灰度值,即xk=(xk1,xk2),xk1=I(i,j),xk2=J(i,j),k=1,2,…,M×N。

4.3 實驗結(jié)果與比較

在提出的算法中,取m=2,ε=0.01,距離范數(shù)‖?‖為歐式內(nèi)積。由于是對灰度圖像進(jìn)行二值化分割(即為2類),則c=2?；叶葓D像的二值化可以看成灰度圖像聚成兩類[8],再將兩類的中心點值變?yōu)閧0,255}。其FCM和WFCM算法收斂后的圖像二值化處理過程是先設(shè)定隸屬度閾值ζ(0.5≤ζ<1),則:

xk1=255,若μ1k≥ζ

0,若μ1k<ζ ,k=1,2,…,M×N(10)

式中:μ1k≥ζ表示第k個象素點隸屬于第一類的隸屬度大于ζ,則取第k個像素點的灰度值為255,否則取該點的灰度值為0。

圖1是一幅洪水的合成孔徑雷達(dá)灰度圖像及其8種二值化方法處理結(jié)果。其原圖中含有土地域、水域和浸潤域(土地域與水域的公共域)共計3個區(qū)域單元。下面將本文提出的方法與其他經(jīng)典二值化方法[9-11]的結(jié)果進(jìn)行比較,圖1(b)是otsu方法二值化結(jié)果,圖1(c)是最大交叉熵方法二值化結(jié)果;圖1(d)是最小交叉熵方法二值化結(jié)果;圖1(e)是最大模糊散度方法二值化結(jié)果;圖1(f)是最小模糊散度方法二值化結(jié)果;圖1(g)是FCM方法二值化結(jié)果;圖1(h)是一維統(tǒng)計特征加權(quán)WFCM方法二值化結(jié)果和圖1(i)是二維統(tǒng)計特征加權(quán)WFCM方法二值化結(jié)果。

圖1 原灰度圖像和8種二值化方法處理結(jié)果圖

從以上二值化方法的結(jié)果圖中可以看出,采用最大交叉熵方法和最大模糊散度方法不能將原灰度圖像中的土地域與水域分割。這與其算法本身以及與原圖像中的灰度統(tǒng)計特征分布有關(guān)。采用ostu方法以及最大方差方法、最小交叉熵方法、最小模糊散度方法和FCM方法進(jìn)行圖像二值化,基本上能將土地域與水域分割,但浸潤域仍然存在模糊性。采用一維灰度統(tǒng)計特征和二維灰度統(tǒng)計特征加權(quán)的WFCM方法能將土地域與水域分割,三個區(qū)域單元的紋理和交界處都能很好的區(qū)分,并保持了三個區(qū)域中內(nèi)部的連通性和一致性。

上述8種二值化方法所確定的最優(yōu)分割閾值如表1所示。

表1 8種二值化方法的最優(yōu)分割閾值表

二值化方法otsu方法最大交叉熵方法最小交叉熵方法最大模糊散度方法最小模糊散度方法FCM方法一維統(tǒng)計特征加權(quán)WFCM方法二維統(tǒng)計特征加權(quán)WFCM方法

最優(yōu)化閾值111225107152111中心點:

89.701 4

和

128.635 8 中心點:

89.623 0

和

101.663 8中心點:

88.704 5

和

101.574 3

從表1可以看出,給出的兩種WFCM方法收斂后所得的聚類中心能較正確地定位聚類中心以及確定每個像素點所屬的類別;而其他6種二值化方法所得的最佳閾值不能很好地分割原圖像。

從提出的兩種方法可以看出,利用二維灰度統(tǒng)計特征作為權(quán)值聚類時,相當(dāng)于增加了一維灰度特征,也就是說利用了圖像的兩維灰度特征(原圖像的灰度和原圖像平滑后的圖像灰度);利用一維灰度統(tǒng)計特征作為權(quán)值,相當(dāng)于只利用了圖像的一維灰度特征(原圖像的灰度)。在原圖像背景較復(fù)雜情況下,由于圖像各區(qū)域之間的交界不明顯,存在模糊性,這時采用二維灰度統(tǒng)計特征加權(quán)的WFCM算法能取得很好的二值化分割。在背景較簡潔時,直接采用一維灰度統(tǒng)計特征加權(quán)的WFCM算法較方便,而且一維比二維的實時性要好。

5 結(jié) 語

在利用樣本點的統(tǒng)計特征,提出了兩種基于統(tǒng)計特征加權(quán)的模糊C-均值聚類方法,并將其應(yīng)用于圖像二值化處理中。在用于圖像二值化時,可以利用圖像的一維灰度統(tǒng)計特征和圖像的二維灰度統(tǒng)計特征作為權(quán)值的WFCM方法。由于在對灰度圖像二值化時,既考慮圖像灰度分布,又考慮鄰域相關(guān)信息,因而可以很好地保證圖像各區(qū)域內(nèi)部的連通性和一致性。此外,本文給出的利用一維灰度統(tǒng)計特征和二維灰度統(tǒng)計特征作為權(quán)值進(jìn)行樣本集聚類,這種思想可以拓展到多維情況。本文提出的算法思想可與合成孔徑雷達(dá)成像算法相結(jié)合用于合成孔徑雷達(dá)的目標(biāo)定位、檢測和識別。

參考文獻(xiàn)

[1]Fan Jiulun,Zhen Wenzhi,Xie Weixin.Suppressed Fuzzy C-means Clustering Algorithm[J].Pattern Recognition Letters,2003,24:1 607-1 612.

[2]Duda R O,Hart P E,Stork D G.Pattern Classification[M].2版.北京:機(jī)械工業(yè)出版社,2004.

[3]張愛華.基于模糊聚類分析的圖像分割技術(shù)研究[D].武漢:華中科技大學(xué),2004.

[4]高新波.模糊聚類分析及其應(yīng)用研究[M].西安:西安電子科技大學(xué)出版社,2004.

[5]劉健莊.基于二維直方圖的圖像模糊聚類分割方法[J].電子學(xué)報,1992,20(9):40-46.

[6]高新波,李潔,姬紅兵.基于加權(quán)模糊C均值聚類與統(tǒng)計檢測指導(dǎo)的多閾值圖像自動分割算法[J].電子學(xué)報,2004,32(4):661-664.

[7]甄文智.抑制式模糊聚類算法及其應(yīng)用[D].西安:西安電子科技大學(xué),2003.

[8]丁震,胡鐘山.FCM算法用于灰度圖像分割的研究[J].電子學(xué)報,1997,25(5):39-43.

[9]趙勇,吳成茂.基于Itakura Saito散度的圖像閾值法[J].現(xiàn)代電子技術(shù),2006,29(15):88-91.

[10]章毓晉,圖像分割[M].北京:科學(xué)出版社,2001.

[11]王向陽,王春花.基于特征散度的自適應(yīng)FCM圖像分割算法[J].中國圖形圖像學(xué)報,2008,13(5):906-910.

[12] 陳梅,王健.基于改進(jìn)模糊C-均值聚類算法的圖像分割[J].現(xiàn)代電子技術(shù),2007,30(13):180-181.