基于多節(jié)點拓撲重疊測度高階MRF 模型的圖像分割

徐勝軍 周盈希 孟月波 劉光輝 史 亞

圖像分割是計算機視覺領域研究的核心問題之一,是對圖像進行更高層分析、理解的基礎.近年來,基于馬爾科夫隨機場(Markov random field,MRF)模型的圖像分割方法受到廣泛關注,成為圖像分割領域研究的熱點.在概率框架下,MRF 利用圖像像素標簽的Gibbs 分布描述圖像局部空間先驗知識,并基于貝葉斯定理將圖像空間先驗知識與似然特征結合起來,在圖像分割領域取得了成功應用[1?8].

由于低階MRF 模型只能表達鄰域平滑等簡單的先驗知識,而這種簡單先驗知識常導致分割結果的過平滑,從而阻礙了MRF 在圖像分割領域的進一步應用.高階MRF 模型引入更多的鄰域信息,能夠表達更復雜的先驗知識和統(tǒng)計信息,因而在計算機視覺領域得到廣泛關注,取得了很多有意義的研究成果[1].Kohli 等[2?4]提出一種RobustPnPotts 模型,將標簽鄰域一致性作為先驗約束,即約束局部區(qū)域內(nèi)大部分標簽傾向于取相同標簽值,顯著提高了圖像分割精度,特別是在物體邊界處取得了更準確的分割效果.夏平等[5]針對醫(yī)學圖像中斑點噪聲、目標邊緣弱化對分割結果的干擾問題,采用二階鄰域系統(tǒng)描述標簽場的結構間聯(lián)系,利用復小波域中每一尺度內(nèi)同標簽區(qū)域的特征信息分布規(guī)律彌補了高階MRF 分割中參數(shù)估計復雜、小波域MRF 缺乏平移不變性和特征提取方向性差的不足,提出復小波域多分辨率MRF 模型的超聲醫(yī)學圖像分割算法.Li 等[6]提出一種基于超像素的高階CRF (Conditional random field)語義分割模型,利用超像素增強點對勢能項引入圖像的超像素高階先驗,雖然基于超像素的高階CRF 模型大大提升了分割效率,但是無監(jiān)督分割算法產(chǎn)生的超像素常包含一些誤分割邊緣,因而造成圖像分割邊界吻合度不理想.這種約束區(qū)域一致性高階MRF 模型對于圖像局部區(qū)域先驗表達能力有限[1],特別是對于圖像局部區(qū)域內(nèi)的高階拓撲結構等高維特征難以有效表達.

為提高MRF 模型對圖像局部區(qū)域的結構特征描述能力,常利用鄰接像素的距離度量方法描述圖像局部空間相關性.宋艷濤等[7]提出一種基于圖像片權重方法的MRF 模型,利用鄰接圖像片之間的相似性描述局部鄰域內(nèi)對應像素點間的權值,提高像素鄰域內(nèi)有用點和無用點的區(qū)分度,并通過平滑KL (Kullback-Leibler)距離引入先驗概率與后驗概率熵的懲罰項,該模型對圖像邊緣區(qū)域和紋理結構復雜區(qū)域均能獲得較好的分割效果.Kim 等[8]建立一個基于超圖的圖像分割框架,引入圖像不同區(qū)域短距離和長距離的依賴性,利用高階相關性聚類方法建立超像素間的高階勢能特征.融合空間先驗約束的高斯混合模型(Gaussian mixture model,GMM)在圖像分割領域也得到廣泛關注.Ji 等[9]提出一種空間約束的非對稱高斯混合模型(Asymmetric GMM),利用KL 距離計算鄰域像素的空間先驗信息,并根據(jù)像素類內(nèi)和類間的先驗知識和后驗概率建立像素與其標簽間的非對稱似然分布,該方法有效抑制了噪聲對分割結果的干擾,得到了較好的分割結果.Zhang 等[10]基于局部空間信息和像素強度信息的相關性,利用帶權值的局部區(qū)域像素概率代替單一像素概率,提出一種快速魯棒的改進GMM分割模型.Ji 等[11]為提高基于GMM 圖像分割模型對噪聲的魯棒性,利用局部窗內(nèi)鄰接像素的歐氏距離計算像素鄰域空間權值因子,提出一種新的帶空間權值GMM 模型.Niu 等[12]基于局部窗內(nèi)局部空間逐像素距離引入局部相似度因子,有效解決了傳統(tǒng)基于區(qū)域的分割模型對高斯噪聲和圖像局部細節(jié)特征的不敏感性問題.Bi 等[13]提出一種顯著度GMM圖像分割模型,該模型基于視覺注意力機制,利用圖像顯著特征圖提取基于圖像內(nèi)容的空間信息,有效增強了重要像素在分割結果中的表達.

上述方法采用基于點對像素的相似性度量引入圖像的局部空間先驗信息,這種先驗信息約束距離越近的鄰接像素越傾向于取相同標簽.由于復雜圖像特征具有高維性,因而常規(guī)的基于歐氏距離相似性度量不能有效描述局部像素的相似性.為解決這一問題,徐勝軍等[14]提出一種基于局部區(qū)域一致性的流形約束MRF 模型,該模型基于流形局部信息度量更準確地捕獲了圖像局部區(qū)域的復雜幾何結構先驗.馮寶等[15]提出一種結合MRF 能量和模糊速度函數(shù)的活動輪廓模型方法,利用Garbo 紋理特征、DCE-MRI 時域特征、灰度特征構成特征向量與聚類中心向量的距離,構建一種模糊速度函數(shù),并引入到活動輪廓模型中作為MRF 能量模型的邊緣檢測項.Shao 等[16]假定空間鄰域具有相似的表示因子,因而利用圖拉普拉斯正則項將空間信息引入稀疏表示模型,提出一種空間和類結構正則化的稀疏表示圖模型,有效描述了圖像本征數(shù)據(jù)結構特征.Dornaika 等[17]利用拉普拉斯平滑度提出一種新的約束稀疏圖構造方法,該方法假定拉普拉斯平滑度約束相似的數(shù)據(jù)樣本產(chǎn)生相似的編碼向量,從而融合稀疏表示和拉普拉斯平滑度建立一種非對稱權值的相似度矩陣,進而建立一種更具表達能力的稀疏圖.

圖像像素鄰域結構信息是圖像的重要先驗知識,這種鄰域結構信息的提取常采用基于鄰接像素對的相似性度量方法.但是由于圖像 “高維性”、“強噪聲”等特點,基于點對像素的相似性度量方法不能揭示圖像高維空間蘊含的本質(zhì)幾何結構;同時,這種 “強噪聲”在鄰接像素之間帶來較多假相關.因而常規(guī)點對像素相似性度量方法難以捕獲復雜圖像高階結構相關性特征,這種高階特征常蘊含在圖像局部區(qū)域內(nèi)多個鄰接像素間.由此可知,研究鄰接多像素相似性度量是非常有必要的.但是常用的約束區(qū)域一致性高階MRF 模型對于局部區(qū)域內(nèi)蘊含的拓撲結構特征的表達能力有限[1].相關研究表明,拓撲重疊測度(Topological overlap measure,TOM)[18?20]不僅考慮了鄰接點對變量的相關性,而且引入了局部區(qū)域內(nèi)節(jié)點對共享鄰接變量的相關性.與歐氏距離、Pearson 相關性[21]、互信息[22]等傳統(tǒng)基于點對像素相關性的距離度量方法相比,TOM能夠有效描述多變量之間的拓撲結構關系.因而基于TOM 建立的基因共表達網(wǎng)絡能有效度量多個基因表達數(shù)據(jù)的相似性,并降低 “強噪聲”所帶來的假相關,因此在生物信息領域中得到顯著關注[22?25].

受此啟發(fā),為提高基于MRF 模型對自然圖像復雜特征描述的能力以及對噪聲干擾的魯棒性,基于MTOM (Multi-node topological overlap measure)提出一種多變量相似性度量方法,有效描述圖像局部區(qū)域內(nèi)鄰接像素多變量拓撲結構關系,并利用這種多變量拓撲結構關系建立圖像的高階拓撲結構先驗模型.最終基于MRF 提出一種多節(jié)點拓撲重疊測度高階MRF 模型(Higher-order MRF model with multi-node topological overlap measure,MTOM-HMRF)圖像分割方法,有效提升了圖像分割的效果.

1 相關基礎知識

1.1 拓撲重疊測度

假定觀察圖像變量集合X={x1,x2,···,xS},其中xs,xr ∈X是集合X的任意兩個鄰接變量,S為集合X的變量總數(shù).假定鄰接變量xs,xr之間共享相鄰節(jié)點xu的信息越多,表明它們的相似性越強;反之,如果鄰接變量xs,xr之間共享相鄰節(jié)點xu的信息越少,表明它們的相似性越弱.定義兩個鄰接變量xs,xr的點對拓撲重疊測度tsr如式(1)所示[18]:

聯(lián)合式(1)和式(2)可知,TOM 矩陣T(X) 是一個對稱且非負的相似度矩陣.這個矩陣把鄰接變量的點對關系相似度矩陣轉換成了多變量高階TOM,并利用這種TOM 建立鄰接變量的高階相似性約束,從而引入多變量鄰接節(jié)點的高階拓撲空間相關性,能更好地表達多變量局部空間特征,并減少 “強噪聲”所帶來的假相關[18].

1.2 MRF 圖像分割模型

MRF 是一種強力的圖像特征表達模型,在圖像分割、圖像恢復、圖像匹配等低級圖像處理領域具有廣泛的應用.設S={s|s ≤M ×N}表示一個定義在鄰域系統(tǒng)N={Ns|s ∈S}上的有限格點集合,其中Ns表示節(jié)點s的鄰域節(jié)點集合,M ×N為集合大小.令X={xs|xs ∈?,s ∈S}表示一個觀察圖像,其中?={0,1,···,255}表示圖像中觀察像素xs的強度值范圍.假定觀察圖像每一個像素xs唯一對應一個標簽節(jié)點ys,則分割圖像標簽場Y={ys|ys ∈Λ,s ∈S},其中Λ={0,1,···,L},L表示圖像分割標簽總數(shù).

基于MRF 的圖像分割方法假定標簽場Y滿足Markov 性質(zhì),是一個馬爾科夫隨機場,則標簽場Y利用Markov 性質(zhì)建立圖像分割的空間先驗知識,表示為P(Y). 給定觀察圖像場X,令標簽場Y的條件似然分布表示為P(X|Y).根據(jù)Bayes 規(guī)則,圖像分割的后驗概率分布模型P(Y|X) 如式(3)所示:

在概率MRF 框架下,圖像分割問題的實質(zhì)是給定已知觀察圖像場X,求取標簽場Y的全局最優(yōu)估計Y ?. 這個全局最優(yōu)標簽場Y ?的估計問題常把MRF 全局概率分布的最大化問題轉化為MRF 能量最小化問題[26]:

2 基于MTOM-HMRF 的圖像分割模型

常規(guī)Pairwise MRF 能量模型中,標簽場先驗平滑能量僅對鄰域節(jié)點進行平滑性約束,因而這種低階點對結構限制了Pairwise MRF 能量模型的表達能力,使其難以表達圖像更加復雜的區(qū)域和全局先驗知識.為提高MRF 模型對復雜圖像特征的表達能力及其在分割過程中對噪聲、紋理等突變信號的抗干擾能力,提出一種基于MTOM-HMRF 的圖像分割模型.該模型利用多變量拓撲重疊測度方法建立鄰接變量的高階相似性約束,從而引入了多變量鄰接節(jié)點的高階拓撲結構先驗知識,更好地表達了圖像的復雜局部空間先驗知識.

2.1 MTOM-HMRF 先驗模型

基于MRF 的圖像分割模型中,圖像局部區(qū)域中蘊含的空間結構信息是圖像分割的重要先驗知識,這種空間結構信息常采用基于鄰接像素對的相似性度量方法描述,但是簡單的點對相似性度量難以捕獲圖像復雜的局部空間結構特征.相關研究表明,TOM 能有效描述多變量之間的拓撲結構關系[18?20].為提升MRF 模型對圖像復雜空間結構信息的表達能力,降低圖像 “強噪聲”所帶來的假相關性對分割結果的干擾,提出一種融合TOM 和MRF模型的MTOM-HMRF 先驗模型.

部分二階MRF 模型如圖1 所示,令ys表示MRF 中任一隱標簽節(jié)點;xs表示與隱標簽節(jié)點ys一一對應的圖像觀察節(jié)點;ws表示以隱標簽節(jié)點ys為中心節(jié)點的一個MRF 的局部區(qū)域,局部區(qū)域大小為|ws|×|ws|; 令yr ∈Ns(ys) 表示中心節(jié)點ys的鄰域節(jié)點,其中Ns(ys) 表示中心節(jié)點ys的鄰域節(jié)點集合.在MRF 模型中,鄰接節(jié)點對xs,xr的點對拓撲重疊測度tsr反映了它們所共享鄰接節(jié)點拓撲結構的相似性,即這種相似性有效引入了圖像局部區(qū)域內(nèi)蘊含的空間拓撲結構特征,能更有效地表達圖像的局部區(qū)域特征,對圖像的噪聲干擾所帶來的假相關性具有魯棒性.

圖1 部分二階MRF 模型Fig.1 Part 2-order MRF model

圖像像素強度值分布是一個隨機過程,因此通常采用統(tǒng)計性的概率分布描述圖像的先驗信息.在圖像局部區(qū)域內(nèi),中心像素與其鄰接像素相似性有效描述了圖像空間拓撲結構信息,為圖像分割提供了重要的上下文空間先驗信息.

為度量鄰接像素的拓撲重疊測度,首先計算局部區(qū)域ws的中心像素xs與其所有鄰域像素xr的歐氏距離d(xs,xr),并對像素間的相似度進行歸一化,使得 0≤dsr ≤1.歸一化函數(shù)如下[27?28]:

式中,∥xs ?xr∥2表示鄰接像素對的歐氏距離;ρ ≤0.2[27]為歸一化尺度參數(shù),衡量了鄰接像素的相似度,ρ值越小,相同距離鄰接像素的相似度越小.

由式(5)建立局部區(qū)域的歐氏距離度量向量:

式中,d(xs,xr) 表示中心像素xs與其鄰域像素xr的相似性,且滿足 0≤dsr ≤1;|ws|×|ws|為圖像局部區(qū)域的大小.

為了將鄰接像素相似性轉化為聯(lián)接強度,利用冪鄰接函數(shù)把局部區(qū)域ws的相似度量向量轉換為一個鄰接強度度量向量.冪鄰接函數(shù)定義如下:

式中,asr(·) 表 示鄰接像素對xs,xr的鄰接矩陣權值;γ ≥1為一個冪指數(shù),其作用是加強強相關鄰接像素的聯(lián)接強度,懲罰弱相關鄰接像素的聯(lián)接強度,其值越大,這種作用越強.因此,由式(7)建立的鄰接矩陣增強了強相關鄰接像素的相似性,有效保持了鄰接像素共表達信息的連續(xù)性.建立的圖像局部區(qū)域ws的鄰接強度度量向量表示如下:

然后根據(jù)式(1)計算中心像素及其鄰接像素的TOM.令|ws|=3,拓撲結構示意圖如圖2 所示.圖2 (a)中,中心像素xs與其上鄰接像素xup的共享鄰域像素用灰色節(jié)點表示,以此類推可知中心像素xs與其余鄰接像素的共享鄰域像素分別如圖2 (b)～圖2 (d).

圖2 |ws|=3 時中心像素 xs 與其上、下、左、右鄰接像素拓撲結構示意圖Fig.2 When |ws|=3,the topological structure diagram of the center pixel and its upper,lower,left and right adjacent pixels

根據(jù)式(1)點對拓撲重疊測度計算式,可知鄰接像素對的點對拓撲重疊測度tsr(xs,xr) 為:

式中,asr表示鄰接像素對xs,xr間的聯(lián)接強度,定義為:

式中,∥xs ?xr∥2表示鄰接像素對的歐氏距離;ρ ≤0.2為歸一化尺度參數(shù);γ≥1 為鄰接像素對冪鄰接函數(shù)的相似性懲罰因子.

由式(9)、式(10)可知,如果鄰接像素對xs,xr分別與其共享鄰接像素具有更多相似性,那么鄰接像素對xs,xr的點對拓撲重疊測度tsr(xs,xr) 的值更大.也就是說,對于兩個鄰接像素對xs,xr來說,如果像素xs與其多個共享鄰域節(jié)點具有較高相似性,像素xr也與這幾個共享鄰域像素具有較高相似性,那么根據(jù)像素相似性傳遞性質(zhì)可知,這兩個鄰接像素對xs,xr也具有較高相似性,即點對拓撲重疊測度tsr(xs,xr) 具有更大的值,反之亦然.進一步可知,如果像素xr是一個噪聲節(jié)點,那么像素xr與其共享鄰域像素具有較低相似性,而像素xs與其共享鄰域像素相似性較高,則鄰接像素對xs,xr的點對拓撲重疊測度tsr(xs,xr) 具有較小的值.由此可知,這種基于多節(jié)點拓撲重疊測度相似性度量引入了局部區(qū)域像素的拓撲空間關系,因而對于圖像噪聲、紋理突變的干擾具有魯棒性.

最終,如圖2 所示,令局部區(qū)域ws的高階拓撲空間先驗表示為:

根據(jù)式(9)～式(11),提出基于MTOM 的高階MRF 先驗能量項定義如下:

式中,為局部區(qū)域ws的高階拓撲結構先驗能量;asr表示中心像素xs與其鄰接像素xr間的聯(lián)接強度;Υ={ρ,γ}表示高階先驗模型的參數(shù)集合,其中ρ,γ分別為歸一化尺度參數(shù)和冪鄰接函數(shù)的相似性懲罰因子.

由式(12)可知,基于MTOM 的高階MRF 先驗知識利用鄰接像素的TOM 描述了局部區(qū)域內(nèi)鄰接像素所共享的多像素之間相似度,構建了多像素高階空間拓撲關系,并利用這個空間拓撲關系度量鄰接像素的高階拓撲相似性,從而建立了具有高階空間相關性的MRF 先驗知識表達模型,更有效描述圖像局部區(qū)域內(nèi)蘊含的復雜拓撲空間結構特征等高階先驗知識,并降低 “強噪聲”所帶來的假相關,因此MTOM-HMRF 先驗模型對圖像噪聲、紋理突變干擾具有魯棒性.

算法1.基于MTOM-HMRF 先驗模型的構造算法

2.2 具有局部區(qū)域一致性的WGMM

特征場模型P(X|Y) 越逼近圖像像素與其標簽的真實分布,越能反映圖像似然特征.但是基于常規(guī)GMM 似然模型為了計算簡便,常假定鄰接像素是獨立同分布的,這種假定忽略了圖像局部區(qū)域空間相關性.為有效描述像素與標簽之間的似然特征,提出基于局部區(qū)域一致性WGMM (Weighted GMM)似然特征模型.該模型對任一像素點xs,定義其鄰域像素點為xr,即xr={xr|r ∈Ns}.為描述局部區(qū)域內(nèi)像素間的空間交互關系,利用中心像素xs與其鄰域像素xr的距離度量得到中心像素與鄰域內(nèi)其余像素的權重,將構建的權重引入到GMM中,得到局部區(qū)域一致性WGMM 似然模型為:

式中,鄰接像素的相似性∥xs ?xr∥控制權重的大小,即鄰域像素對xs,xr之間距離越大,相似度越低,賦予像素權重越小.

建立的局部區(qū)域一致性WGMM 似然模型利用像素間的距離描述像素空間關系,通過權重約束鄰域內(nèi)像素標簽一致性,其鄰接像素Hamming 距離越小,權重w(yr) 越小,因此可以使同態(tài)區(qū)域的相鄰像素傾向于取相同類標簽值,而非同態(tài)區(qū)域的鄰接像素取不同類標簽值.因此,WGMM 模型避免了對非同態(tài)區(qū)域的鄰域像素局部特征的過平滑.

2.3 基于區(qū)域的部分二階Potts 先驗模型

常規(guī)Pairwise MRF 模型的簡單點對結構大大限制了MRF 先驗模型的表達能力,使其無法表達區(qū)域和全局先驗知識,因此提出一種基于區(qū)域的部分二階MRF 模型,以利用更大的局部區(qū)域包含更多的局部先驗知識的能力,同時不會顯著增加模型的計算復雜度.在局部區(qū)域ws內(nèi),假定局部區(qū)域ws的標簽場是一個MRF,這個標簽場的先驗使用Potts 模型描述.根據(jù)Harmmersley-Clifford 定理可知,建立的基于區(qū)域的部分二階Potts 先驗模型描述為:

式中,Z(β) 是一個歸一化常量;β為Potts 模型先驗參數(shù),控制局部區(qū)域分割結果的平滑度;δ(ys,yr)為delta 函數(shù):

由上式可知,在局部區(qū)域ws內(nèi),當區(qū)域內(nèi)較多像素點的類標簽趨于一致時,其懲罰值趨于0;對于具有不同類標簽的局部區(qū)域,其不一致懲罰值隨著標簽取值不一致的個數(shù)增長而線性增長.這種區(qū)域類別一致性約束不僅避免了局部區(qū)域內(nèi)異質(zhì)像素的統(tǒng)一懲罰值所帶來的過平滑現(xiàn)象,有效提升了圖像分割結果的邊緣效果,而且對圖像噪聲、紋理信號的干擾具有魯棒性.

3 基于多節(jié)點拓撲重疊測度高階MRF模型的圖像分割算法

基于MRF 框架,融合基于MTOM 的高階先驗知識、局部區(qū)域一致性的WGMM 似然特征和部分二階Potts 先驗知識,建立MTOM-HMRF 圖像分割能量模型如下式所示:

式中,Θ=(θ,β,Υ).Ed(X|Y,θ) 表示局部區(qū)域一致性WGMM 似然能量,θ為似然能量模型參數(shù).似然能量項Ed(X|Y,θ) 利用WGMM 似然特征分布,有效保持了局部區(qū)域內(nèi)像素與其標簽的區(qū)域似然一致性.Es(Y|β) 表示部分二階Potts 先驗能量,β為Potts 類型先驗能量模型參數(shù).先驗項Es(Y|β)根據(jù)局部區(qū)域內(nèi)和中心標簽值不一致數(shù)量成正比的線性懲罰建立局部區(qū)域先驗的一致性平滑約束,基于部分二階Potts 模型引入了更多的先驗空間約束,提高了分割過程的魯棒性.Eh(X|Υ) 表示基于MTOM 的高階拓撲結構先驗能量,Υ為高階拓撲結構先驗能量模型參數(shù)集合.高階先驗項Eh(X|Υ)利用鄰接像素所共享的多像素之間的MTOM,引入了圖像局部區(qū)域拓撲結構相似性特征,使得模型能夠有效表達更高階的空間信息,進一步提高模型的魯棒性與有效性,提高圖像分割精確度.

根據(jù)MAP 準則,提出MTOM-HMRF 模型最優(yōu)估計標簽場Y ?為:

要求解最優(yōu)估計標簽值Y ?,首先需要估計提出模型的參數(shù).Potts 模型先驗參數(shù)β和高階先驗模型參數(shù)Υ={ρ,γ}分別通過人工試錯法估計;WGMM 似然模型的參數(shù)通過期望最大化算法(Expectation-maximization algorithm,EM)求解,具體過程參見文獻[26].提出的MRF 能量模型采用Gibbs 采樣算法進行迭代優(yōu)化,求出最優(yōu)值Y ?.

算法2.基于MTOM-HMRF 圖像分割算法

4 實驗結果及分析

實驗硬件環(huán)境為Intel(R) Core(TM) i7-8700 CPU @3.20 GHz 處理器,16 GB RAM,NVIDIA GeForce GTX 1060 6 GB 顯卡.集成開發(fā)環(huán)境為Visual Studio 2015 和OpenCV3.4 計算機視覺開源庫,操作系統(tǒng)為Windows10.分別對人工加噪聲圖像和自然圖像進行分割實驗,通過與基于區(qū)域的Pairwise MRF 分割模型[26]、基于RobustPn高階分割模型[4]的分割效果進行對比,驗證提出模型的有效性.

對于人工合成圖像分割結果評價采用正確分類率(Correct classification ratio,CCR)參數(shù)作為量化評估指標,CCR 定義如下:

對于自然圖像分割結果常用概率隨機索引(Probabilistic rand index,PRI)指標和正確分類率(CCR)指標衡量.PRI 定義如下:

式中,csr=1 表示像素s和r屬于同一類,csr=0表示像素s和r屬于不同類別. P RI∈[0,1],P RI 值越大,Sseg和Sgt對比結果一致性越好,即分割結果越好.

提出模型的歸一化尺度參數(shù)ρ ≤0.2 衡量了不同尺度下鄰接像素的相似度,其值越小,相同鄰接像素相似度越小,實驗中令ρ=0.2.冪鄰接參數(shù)γ ≥1,其作用是加強強相關鄰接像素聯(lián)接強度,抑制弱相關鄰接像素聯(lián)接強度,其值越大,這種作用越強.但是過大的γ值易導致鄰接像素空間先驗信息的丟失,實驗中設定γ=4;鄰域窗口大小設置為3 × 3 像素塊;三個對比模型的GMM 參數(shù)由EM算法估計;不同圖像的Potts 先驗參數(shù)β由大量實驗人工選擇對應分割結果最好的參數(shù)值.參數(shù)β越大,平滑項對圖像局部區(qū)域分割結果的平滑作用越強,反之越弱.因此參數(shù)β選擇原則是:一般對于圖像噪聲較弱或圖像紋理簡單的圖像,β取較小值,反之取較大值.實驗圖像分類數(shù)目L根據(jù)圖像由人工指定.為了更直接對比分割模型的有效性,所有模型優(yōu)化算法采用Gibbs 采樣算法,Gibbs 采樣算法初始溫度T(0)設定為4.0,退火率設為0.95.

4.1 人工合成圖像分割實驗

人工合成圖像T_image 如圖3 所示,大小為300 × 300 像素,灰度級為256,分類數(shù)為4,其各類均值分別為0、85、170、255.為驗證提出模型對噪聲干擾的魯棒性,分別對人工合成圖像T_image 加不同強度的高斯白噪聲和椒鹽噪聲進行分割實驗,實驗結果對比如圖4 所示.實驗中加方差300、900 的高斯白噪聲合成圖像,加0.02、0.05、0.10 的椒鹽噪聲合成圖像的Potts 模型.先驗參數(shù)β分別設定為2.1、10.0、4.6、4.9、5.1,RobustPn高階分割模型截斷參數(shù)Q和懲罰參數(shù)γmax分別設定為3和2.5,提出模型歸一化尺度參數(shù)ρ和冪鄰接參數(shù)γ分別設定為0.2 和4,不同加噪圖像GMM 參數(shù)由EM 算法估計.

圖3 T_image 原圖Fig.3 T_image original image

為驗證提出方法的有效性,分別對人工合成圖像分割結果進行定性和定量分析.

1)定性分析.由圖4 所示不同高斯白噪聲合成圖像的分割結果和局部細節(jié),可以看出對比模型中基于區(qū)域的Pairwise MRF 模型分割結果最差.主要是由于這種模型的簡單點對結構難以描述復雜的圖像空間相關性特征,因而分割結果受高斯噪聲干擾較大,特別是在圖像邊緣有明顯的毛刺和誤分割時,邊緣分割結果較差.基于RobustPnMRF 模型引入了圖像局部區(qū)域類別不一致性懲罰,提高了分割結果對噪聲干擾的魯棒性,如圖4 中分割結果所示,在圖像平坦區(qū)域大大減少了由于噪聲干擾所造成的 “斑點”誤分割.但是對于方差為900 的高斯白噪聲人工合成圖的分割仍存在少量的 “斑點”誤分割,特別是在分割結果中的 “圓形”邊緣區(qū)域,仍存在明顯的誤分割.這是由于RobustPnMRF 模型假定局部區(qū)域中所有位置上的先驗權重相同,因此造成較強噪聲干擾時邊緣分割結果往往不夠精確.不帶MTOM 項的提出模型僅僅考慮了局部區(qū)域低階空間先驗信息,因此不能有效抑制強噪聲信息干擾.基于MTOM-HMRF 模型的分割方法利用高階拓撲結構引入了更豐富的圖像空間高階相關性特征,這種高階拓撲結構利用鄰接像素的相似性描述了局部區(qū)域內(nèi)的多像素復雜拓撲結構特征,有效降低了圖像強噪聲的干擾,對于方差為900 的高斯白噪聲人工合成圖也得到了較理想的分割結果,特別是在 “圓形”邊緣顯著提高了分割精度.

圖4 合成圖像加高斯白噪聲分割結果對比Fig.4 Comparison of segmentation results of synthetic image with white Gaussian noise

由圖5 所示不同椒鹽噪聲合成圖像分割結果分析進一步證明了提出模型的有效性.對比模型對椒鹽噪聲比較敏感,尤其是隨著椒鹽噪聲的增強,對比模型對噪聲顆粒產(chǎn)生了大量誤分割.提出模型對于加強度0.02、0.05 的椒鹽噪聲人工合成圖像的分割能夠很好地去除椒鹽噪聲干擾,得到較為理想的分割結果.對于強度為0.10 的椒鹽噪聲人工合成圖像,存在極少量 “斑點”誤分割,整體分割效果明顯優(yōu)于對比模型.

圖5 合成圖像加椒鹽噪聲分割結果對比Fig.5 Comparison of segmentation results of synthetic image with salt and pepper noise

由以上兩個加不同類型噪聲的人工合成圖像分割實驗表明,與基于區(qū)域的Pairwise MRF 模型的分割方法、基于RobustPnMRF 模型的分割方法相比,提出模型能夠描述更遠距離多像素拓撲結構特征,表達更加復雜的圖像高階先驗知識及統(tǒng)計信息,對不同類型噪聲干擾魯棒性更好,在圖像平坦區(qū)域獲得了較平滑分割結果,尤其是在圖像分割的邊緣區(qū)域得到了更好的效果.

2) 定量分析.表1 為基于上述4個模型對T_image 人工合成圖像加不同類型、不同強度噪聲的人工合成圖像分割結果的定量分析對比,表中采用50 次分割實驗的平均CCR 指標.

由表1 可知,基于區(qū)域的Pairwise MRF 模型[26]的CCR 指標最低,雖然這種算法利用局部區(qū)域內(nèi)像素的點對交互引入了圖像局部區(qū)域特征,提升了圖像分割效果,但是局部區(qū)域能量項的引入增加了全局優(yōu)化算法的迭代時間,因此在對比算法中雖然迭代次數(shù)少,但是其分割時間相對較長.基于RobustPnMRF 模型在基于區(qū)域的Pairwise MRF模型[26]基礎上,引入一種基于局部區(qū)域類別一致性RobustPn項,有效提升了CCR 指標,但是高階項的引入增加了算法的迭代次數(shù)和優(yōu)化時間.MTOMHMRF 模型針對區(qū)域Pairwise MRF 模型[26]引入MTOM,提升了圖像高階先驗的表達能力,因此其CCR 指標最高;同時針對局部區(qū)域能量項的引入易造成邊緣帶現(xiàn)象,去掉了局部區(qū)域能量項約束,因此迭代次數(shù)雖然大大增加,但是優(yōu)化時間并沒有顯著增加.在加高斯白噪聲的分割結果中,以噪聲強度900 為例,在加入RobustPn高階項后,模型迭代次數(shù)成倍增加,迭代時間降低,正確分類率CCR提高了4.43%.MTOM-HMRF 模型迭代次數(shù)相較RobustPnMRF 模型也顯著增加,但提出模型迭代時間更少,正確分類率CCR 在RobustPn模型的基礎上仍提高了6.45%.同樣,在加椒鹽噪聲的分割結果中,隨著噪聲強度增大,對比模型正確分類率CCR 顯著降低,而MTOM-HMRF 模型表現(xiàn)穩(wěn)健,迭代時間略有增長.因此提出模型對噪聲有較好的抗干擾能力,這是因為MTOM-HMRF 模型有效描述了圖像的高階拓撲空間關系,因而得到了更好的分割結果.

表1 人工合成加噪圖像在不同模型下的分割結果對比Table 1 Synthetic image segmentation results of different models

綜上所述,在不同類型、不同噪聲強度人工合成圖像分割實驗中,通過不同模型實驗結果的定性分析和定量分析對比表明,提出模型不僅對圖像噪聲干擾有較強的魯棒性,而且在圖像邊緣區(qū)域獲得了更好的分割精度,因而提出模型具有更高的有效性和魯棒性.

4.2 自然圖像分割實驗

為進一步驗證提出模型的有效性和魯棒性,對自然圖像進行分割對比實驗.實驗用自然圖像選自Berkley 數(shù)據(jù)集BSDS500[29],部分代表性的實驗圖像ID 分別如圖6 所示.待分割圖像大小為481 ×321 像素或321 × 481 像素,灰度值為256.分割類別人工設定:3 096、135 069、196 073、8 068、189 080、198 087、15 088 分類數(shù)為2,62 096、167 062、238 011、253 036、24 063、311 068 分類數(shù)為3,241 004、55 067 分類數(shù)為4.圖6 中從上至下不同MRF 模型的先驗平滑參數(shù)β分別采用人工試錯法選擇最優(yōu)值為1.5、1.5、3.2、15.1、4.8、1.2、2.5、2.1、7.5、2、9、5、4.5、10、14.RobustPnMRF 模型局部區(qū)域設定為3 × 3 像素塊,截斷參數(shù)Q和懲罰參數(shù)γmax分別設定為3 和2.5.提出模型局部區(qū)域設定為3 × 3像素塊,歸一化尺度參數(shù)ρ和冪鄰接參數(shù)γ分別設定為0.2 和4.GMM 參數(shù)由EM 算法估計.

分割實驗對比結果如圖6 所示,圖6 (b)列為基于區(qū)域的Pairwise MRF 模型[26]分割方法的分割結果,圖6 (c)列為基于RobustPnMRF 模型分割方法的分割結果,圖6 (d)列為基于提出模型分割方法的分割結果,圖6 (e)列為Ground Truth 圖.

圖6 自然圖像分割結果對比Fig.6 Comparison of segmentation results of natural images

首先對自然圖像分割結果進行定性分析.從分割結果對比圖中可以發(fā)現(xiàn),基于區(qū)域的Pairwise MRF 模型分割結果較差,這是由于Pairwise MRF模型的簡單點對結構難以描述復雜的圖像空間相關性特征,因此對圖像噪聲和紋理特征干擾魯棒性較弱,如圖 “196 073”中豐富的 “沙?！碧卣?圖 “167 062”、“238 011”中 “樹葉”和 “樹枝”紋理特征等對分割結果造成較大干擾,出現(xiàn)較多 “斑點”誤分割區(qū)域.與Pairwise MRF 模型相比,基于RobustPnMRF 模型的分割結果得到一定提升,如圖 “196 073”的分割結果中,“沙粒”紋理干擾所造成的 “斑點”誤分割區(qū)域得到一定抑制.但是由于RobustPnMRF 模型假定局部區(qū)域中所有位置上的先驗權重相同,因此造成圖像邊緣、細節(jié)結構部分的分割結果不夠精確,如圖 “62 096”中 “風帆”的 “橫式手把柄”沒有得到較好的提取,圖 “167 062”中 “樹林”與 “坡地”之間的邊界線出現(xiàn)了 “邊緣帶”的現(xiàn)象等.提出模型分割方法利用高階拓撲結構引入更豐富的高階空間相關性特征,對于圖像邊緣、細節(jié)特征具有較好的分割結果,如圖 “167 062”中 “樹林”與 “坡地”之間的邊界線,圖 “62 096”中 “風帆”的 “橫式手把柄”,圖 “3 096”的 “飛機”,圖 “135 069”的 “飛鳥”等得到了較準確分割;同時對于圖像紋理突變干擾具有較強魯棒性,如圖 “196 073”中的 “沙?！?圖 “62 096”、“ 8 068”、“15 088”中的“水波”,圖 “167 062”中的 “雪地”,圖 “253 036”的“草地”,圖 “311 068”的 “草叢”等區(qū)域得到更平滑的分割結果.因此,提出模型對復雜自然圖像的強噪聲和紋理突變干擾具有較強魯棒性,顯著提高了圖像分割精度,特別是在圖像分割邊緣處具有更高的分割精度.

然后進行定量分析,對于自然圖像分割結果評價常采用概率隨機索引PRI 和正確分類率CCR,PRI 和CCR 值越大,分割精確度越高.表2 給出了對比圖像在不同分割模型下所得到分割結果的PRI 和CCR 值.由表2 可知,與對比分割模型相比,提出模型的PRI 和CCR 值最高,即提出模型的分割精度優(yōu)于所有對比模型.表2 也給出了三種模型在BSDS500 數(shù)據(jù)集的分割結果評價,與基于區(qū)域的Pairwise MRF 模型[26]、RobustPnMRF 分割模型[4]相比,提出模型分割結果的平均PRI 指標分別提高了9.30%、8.32%,平均CCR 指標分別提高了9.74%、8.68%.圖7、圖8 給出了三種模型在BSDS500 數(shù)據(jù)集分割指標PRI、CCR 的分布情況,從圖中可以看出,提出模型的整體性能優(yōu)于對比模型.

圖7 BSDS500 數(shù)據(jù)集PRI 分布對比Fig.7 Comparison of PRI distribution of BSDS500 data sets

表2 自然圖像在不同方法下的評價指標比較Table 2 Comparison of evaluation indexes of natural image on different models

進一步對基于不同模型的分割效率進行對比,由表3 可以看出,與基于區(qū)域的Pairwise MRF 模型[26]、RobustPnMRF 分割模型[4]相比,為避免較大的局部區(qū)域能量最小化造成部分邊緣出現(xiàn)邊緣帶現(xiàn)象,提出模型的似然能量項采用了較小的4 鄰域結構,因此提出模型雖然具有較高迭代次數(shù),但是運行時間和對比模型相比并沒有顯著增加.綜上所述,提出模型能更好保持圖像細節(jié)信息,且具有更高的分割精度,對復雜自然圖像強噪聲和紋理突變干擾具有更強的魯棒性.

表3 自然圖像在不同方法下的效率比較Table 3 Comparison of the efficiency of natural image on different models

5 結論

本文提出一種基于多節(jié)點拓撲重疊測度高階MRF 模型的圖像分割方法.提出模型利用多節(jié)點拓撲重疊測度建立了圖像的高階MRF 先驗模型,有效描述了圖像局部區(qū)域內(nèi)多節(jié)點間的拓撲結構信息,提高了MRF 先驗模型對復雜自然圖像的先驗知識表達能力.同時,建立了一種基于局部區(qū)域的部分二階Potts 先驗模型,利用較大的局部區(qū)域引入更多的標簽節(jié)點信息,建立了基于局部區(qū)域不一致性懲罰的局部標簽一致性約束.然后,利用鄰接像素的Hamming 距離引入圖像局部空間相關性,提出具有局部區(qū)域一致性的WGMM,有效描述了觀察圖像場與標簽場之間復雜的似然特征分布.最后,在MRF 框架下,提出了基于多節(jié)點拓撲重疊測度高階MRF 模型(MTOM-HMRF)的圖像分割方法,并利用Gibbs 采樣算法實現(xiàn)了模型優(yōu)化.大量實驗結果表明,提出模型不僅能有效抑制圖像強噪聲和紋理突變干擾,魯棒性更好,而且具有更準確的圖像分割邊緣.