面向圖像復(fù)原的分層貝葉斯局部高斯混合模型*

張墨華，彭建華

1.國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，鄭州 450000

2.河南財(cái)經(jīng)政法大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，鄭州 450000

1 引言

信號處理領(lǐng)域的多種方法[1-7]應(yīng)用到各種圖像復(fù)原任務(wù)中，退化圖像Y（以向量化形式）可以建模為：

其中，Y是觀測退化圖像；X是潛在的真實(shí)圖像；H是退化算子；V是加性噪聲。不同的退化矩陣H對應(yīng)著不同的逆問題，例如填充、去模糊或是超分辨等。例如，用于圖像超分辨[8-9]，H是下采樣矩陣；用于圖像去模糊[10]，H是模糊矩陣；用于圖像去噪時(shí)[11]，H是單位矩陣等。噪聲項(xiàng)V可能是恒定方差的經(jīng)典加性高斯噪聲或是與信號相關(guān)噪聲的更復(fù)雜的模型[12]。圖像復(fù)原問題任務(wù)就是從觀測圖像Y來估計(jì)原始清晰圖像X。

由于這類逆問題固有的不適定性[13]，通常復(fù)原問題在變分或是貝葉斯求解時(shí)會在圖像上施加某種先驗(yàn)，例如總變分（total variation，TV）[14]、小波分解[15]、圖像塊的稀疏性[16]等各種流行的圖像模型。Buades等人提出圖像自相似性先驗(yàn)的方法[17]，開啟了基于塊的圖像復(fù)原技術(shù)的新時(shí)代。通過在貝葉斯框架中引入塊先驗(yàn)?zāi)Ｐ?，有些方法致力于去噪問題[18-20]，有些提出通用框架來求解各種逆問題[21-22]，包括去噪、填充、去模糊及放大。

在貝葉斯框架下有兩個值得注意的方法：一個是Yu等人提出的基于塊的貝葉斯方法[22]，即分段線性估計(jì)（piecewise linear estimators，PLE）方法；另一個是Lebrun等人提出的非局部貝葉斯（non-local Bayesian，NLB）算法[23]。PLE是在式（1）下解決圖像逆問題的一般框架，而NLB是一種去噪方法（H是單位陣）。這兩種方法都是利用從圖像塊學(xué)習(xí)的高斯塊先驗(yàn)通過迭代求解。PLE是通過高斯混合模型（Gaussian mixture model，GMM）來進(jìn)行建模，它采用相對較少的分量數(shù)目（在實(shí)驗(yàn)中用的是19），其參數(shù)通過圖像塊進(jìn)行學(xué)習(xí)得到。作者在實(shí)驗(yàn)中采用圖像子區(qū)域（大小為128×128）的方法，可以把PLE看成是半局部的方法。而NLB方法中每個塊與一個高斯模型相關(guān)，其參數(shù)是通過其局部近鄰（搜索窗口）中選擇的相似塊計(jì)算得到[23-24]。Zoran和Weiss提出的塊對數(shù)似然期望（expected patch log likelihood，EPLL）算法[21]采用了類似的方法，但其不是從圖像塊中迭代地更新高斯混合模型，而是利用大量的分量數(shù)目，從大型圖像數(shù)據(jù)庫中學(xué)習(xí)得到。Wang和Morel在文獻(xiàn)[25]中指出，在去噪問題上，具有較少的分量的方法，性能要高于擁有較多固定分量數(shù)量的方法。

上述的這些復(fù)原方法都是基于高斯塊先驗(yàn)的貝葉斯框架。相比于有限數(shù)量的高斯混合模型方法[21-22]，依賴局部先驗(yàn)的方法已經(jīng)被證明對于圖像去噪任務(wù)更為準(zhǔn)確[23，25]。特別是，由于局部模型估計(jì)的原因，非局部貝葉斯方法要比分段線性估計(jì)方法在處理圖像去噪問題上更為優(yōu)秀。另一方面，分段線性估計(jì)方法在其他應(yīng)用場景，如圖像填充、去模糊及圖像放大等應(yīng)用中，取得了優(yōu)秀的結(jié)果。

因此，本文聚焦于如何將局部塊模型應(yīng)用到更為通用的逆問題求解，而不僅僅是去噪問題。但是這一應(yīng)用的主要難點(diǎn)在于模型的估計(jì)問題，特別是當(dāng)退化圖像中有較高比例缺失像素情況下，估計(jì)問題是嚴(yán)重不適定問題。

本文提出根據(jù)高斯先驗(yàn)來建模圖像塊，其參數(shù)（均值μ和協(xié)方差矩陣Σ）從局部相似塊中進(jìn)行估計(jì)。為了處理這一問題，利用分層貝葉斯模型[26]，將模型參數(shù)的先驗(yàn)知識（先驗(yàn)參數(shù)的概率分布）考慮進(jìn)來。貝葉斯統(tǒng)計(jì)中，μ和Σ稱為超參數(shù)，超參數(shù)的先驗(yàn)稱之為超先驗(yàn)。這種模型應(yīng)用于圖像復(fù)原領(lǐng)域，最早由Molina[27]提出，近年來應(yīng)用到圖像分割和去卷積[28]及超聲圖像的復(fù)原[29]中。將分層貝葉斯方法應(yīng)用于局部高斯混合模型的基于塊的圖像復(fù)原建模中，通過超先驗(yàn)來減少由于退化圖像中塊信息丟失而帶來的算法不穩(wěn)定性?；贚2范數(shù)在局部窗口中完成相似塊的聚類，利用累加平方圖及快速傅里葉變換的數(shù)值優(yōu)化方法，加快相似性度量的計(jì)算時(shí)間。在從塊到圖像的聚合過程中，采用基于馬式距離的高斯分布相似度的聚合權(quán)重，結(jié)合圖像上的空間域高斯相似度，從而更好地?cái)M合自然圖像的統(tǒng)計(jì)特性。

本文的主要貢獻(xiàn)有以下兩點(diǎn)：第一，提出將分層貝葉斯模型引入到圖像塊的高斯局部先驗(yàn)建模中并用于求解圖像復(fù)原問題，使得對于缺失像素的逆問題求解更加穩(wěn)定；第二，利用基于馬式距離的高斯分布相似度的聚合權(quán)重方法，將局部高斯模型擴(kuò)展到高斯混合模型框架下。

2 全局高斯混合模型

PLE和EPLL這類方法屬于全局高斯混合模型[21-22]，它們只是在初始化和計(jì)算聚類權(quán)重上有細(xì)微差別。通常這類方法假定圖像中每個塊（n維）獨(dú)立來自于M個有限多元高斯分布{N(μm,Σm)}1＜m＜M中的一個，該分布的均值為μm，方差為Σm。每個塊xi都是從這些有限數(shù)量的高斯中的某一個獨(dú)立地生成，其概率為：

為了最大化所有塊的概率分布，需要得到整個圖像的有限高斯分布，這可以通過在初始化高斯分布之后，迭代地進(jìn)行下述步驟得到：

（1）根據(jù)估計(jì)的(μm,Σm)1＜m＜M，由式（2）度量相似性，將塊進(jìn)行聚類。產(chǎn)生每個塊的高斯概率是由{N(μm,Σm)}1＜m＜M確定，這引入了一個基于模型的框架，將恢復(fù)的塊xi分配給M個估計(jì)高斯分布中之一。

（2）更新{N(μm,Σm)}1＜m＜M。每個均值向量和協(xié)方差矩陣的估計(jì)值，是基于聚類塊進(jìn)行更新的。這些估計(jì)可以通過每個聚類中的樣本均值和樣本協(xié)方差得到。

（3）每個塊的恢復(fù)基于其所屬高斯分布，利用維納濾波而得到。

PLE和EPLL這種全局高斯混合模型方法將多個塊從圖像的不同部分分配到一個聚類。這種全局聚類限制了利用圖像中鄰近塊的相干性。一些成功的圖像去噪算法，例如依賴于平均像素的非局部均值[3，16]，通過設(shè)置與像素或塊之間的幾何距離成反比的平均權(quán)重來考慮鄰近塊的相干性。BM3D（blockmatching and 3D filtering）[2]、NCSR（nonlocally centralized sparse representation）[30]、FNCSR（fast nonlocally centralized sparse representation）[4]等算法也是采用約束在一個有限大小的窗口中分組相似的塊，協(xié)同進(jìn)行去噪。文獻(xiàn)[31]指出，相比于全局窗口大小，小窗口中的塊更可能從高斯分布導(dǎo)出，意味著更易遵循高斯分布。

3 分層貝葉斯的局部高斯混合模型

為了對圖像應(yīng)用空間約束并利用鄰域塊的相干性，假設(shè)鄰域中的相似塊可以從具有特定均值和協(xié)方差的單個多變量高斯概率分布導(dǎo)出，讓每個塊與一個高斯模型相關(guān)，其參數(shù)是通過其局部近鄰（搜索窗口）中選擇的相似塊計(jì)算得到。非局部貝葉斯算法就是采用這一思路，應(yīng)用于圖像去噪問題[23]。本文關(guān)注于將局部塊模型如何應(yīng)用到更為通用的逆問題求解，而不僅僅是去噪問題。這一應(yīng)用的主要難點(diǎn)在于模型的估計(jì)問題，特別是當(dāng)退化圖像中有較高比例缺失像素情況下，估計(jì)問題是嚴(yán)重不適定問題[32]。

為此本文提出分層貝葉斯的局部高斯混合模型（hierarchical Bayesian local Gaussian mixture model，HBLGMM），圖1給出所提出模型的總體思路。

Fig.1 Hierarchical Bayesian local Gaussian mixture model圖1 分層貝葉斯的局部高斯混合模型

如圖1所示，在局部窗口中利用L2范數(shù)計(jì)算相似塊，來充分利用鄰域塊的相干性，這里假定局部相似圖像塊滿足均值μ和協(xié)方差矩陣Σ的高斯先驗(yàn)分布。對均值和協(xié)方差參數(shù)引入貝葉斯超先驗(yàn)（hyper prior），對圖像塊均值μ和協(xié)方差Σ引入Norm-Wishart先驗(yàn)（參數(shù)為μ0和Σ0），利用聯(lián)合最大后驗(yàn)估計(jì)公式用來估計(jì)圖像塊和參數(shù)采用交替最小化更新的方式，使高斯統(tǒng)計(jì)的局部估計(jì)更加穩(wěn)定；在從塊到圖像的聚合過程，對于重疊區(qū)域利用塊對于不同局部高斯分布的相似度，計(jì)算基于馬式距離（Mahalanobis distance）的高斯權(quán)值，從而從局部高斯分布擴(kuò)展到高斯混合模型。這樣可以利用局部模型估計(jì)的準(zhǔn)確性來處理通用的復(fù)原問題，特別是處理丟失像素值（填充問題）。

3.1 塊退化模型

觀測圖像Y分解為I個相互重疊的塊{yi}i=1,2,…,I，塊大小為。每個塊yi∈Rn×1可以看作是隨機(jī)變量Yi的實(shí)現(xiàn)，Yi可以表示為：

其中，Hi∈Rn×n是退化算子；Xi∈Rn×1是需要估計(jì)的原始塊；Vi∈Rn×1是加性噪聲項(xiàng)，通常以高斯分布進(jìn)行建模。在給定Xi情況下Yi的條件分布為：

假定在每個塊的高斯先驗(yàn)?zāi)Ｐ蜑閜(Xi|μ,Σ)～N(μ,Σ)，其中均值μ和協(xié)方差矩陣Σ是未知的。為了簡化計(jì)算，利用精度矩陣Λ=Σ-1來表示。本文假定(μ,Λ)服從Normal-Wishart先驗(yàn)。Normal-Wishart先驗(yàn)是未知均值和協(xié)方差矩陣的多元高斯分布的共軛先驗(yàn)。(μ,Λ)的分布為：

其中，參數(shù)包括μ0和Σ0，尺度參數(shù)λ＞0和自由度ν＞n-1。

假定已經(jīng)有觀測相似塊{Yi}i=1,2,…,M，要恢復(fù)的復(fù)原塊為{Xi}i=1,2,…,M。假定未知{Xi}是獨(dú)立的且服從相同的高斯模型，計(jì)算聯(lián)合最大后驗(yàn)：

式（6）乘積第一項(xiàng)為式（4）的噪聲模型，第二項(xiàng)是圖像塊集合{Xi}上的高斯先驗(yàn)，第三項(xiàng)為式（5）的超先驗(yàn)。其中第一項(xiàng)在p({Yi}|{Xi},μ,Λ)上忽略了μ和Λ依賴，這是因?yàn)檫@些參數(shù)都是由{Xi}確定的。

3.2 優(yōu)化過程

函數(shù)f是分別在變量({Xi},μ)和Λ上的雙凸函數(shù)。對于給定的超參數(shù)μ0和Σ0，可以采用交替凸最小化機(jī)制來最小化該函數(shù)。即在每輪迭代中，首先固定Λ，相對于({Xi},μ)求最小化，然后進(jìn)行交替，固定({Xi},μ)，相對于Λ求最小化。

通過f對每個變量求微分，可以得到最優(yōu)化方程。假定Λ是固定值并且協(xié)方差不依賴于{Xi}。函數(shù)上是凸的，并且可以得到最小值：

假定變量({Xi},μ)是固定的。函數(shù)Λ?f({Xi},μ,Λ)在上是凸的，并且可以得到最小值：

從式（8）可以看出μ的MAP估計(jì)量是兩項(xiàng)值的加權(quán)平均：先驗(yàn)μ0和利用從相似恢復(fù)塊得到的均值估計(jì)量。參數(shù)γ控制著對于先驗(yàn)μ0的置信度。類似地，Λ的MAP估計(jì)量也是由三項(xiàng)構(gòu)成：先驗(yàn)Σ0和μ的協(xié)方差，以及來自塊Xi所估計(jì)的協(xié)方差矩陣。

根據(jù)上述分析，可以得到f的交替最小化過程，如算法1所示。

算法1f交替最小化

算法1中，迭代次數(shù)設(shè)置為Iters1。當(dāng)l→∞時(shí)，函數(shù)在每個步驟中會逐漸減少，函數(shù)f的連續(xù)性意味著該序列下端有界，因此會收斂。函數(shù)的收斂性意味著序列是有界的。由此可知，它具有至少一個累積點(diǎn)Λ*)，并且存在嚴(yán)格增加的整數(shù)序列(lk)，使得收斂到。因此通過交替最小化方案生成的序列至少有一個聚點(diǎn)。實(shí)驗(yàn)中也發(fā)現(xiàn)算法經(jīng)過幾輪迭代后就會收斂。

3.3 相似塊搜索

在當(dāng)前樣例塊的搜索窗口中找到與樣例塊L2范數(shù)距離小于指定閾值的相似塊。閾值的計(jì)算是通過容忍參數(shù)?乘以最鄰近距離來確定。在所有實(shí)驗(yàn)中，搜索窗口設(shè)計(jì)為32×32（塊大小設(shè)置為8×8），?設(shè)置為1.5。在前一輪迭代的結(jié)果圖像上進(jìn)行相似塊的比較，塊間相似度的計(jì)算是基于圖像塊的L2范數(shù)進(jìn)行的。

受文獻(xiàn)[33-34]啟發(fā)，采用數(shù)值優(yōu)化方法來加速歐式距離的計(jì)算。令R是塊抽取算子，R(p)∈Rn表示以圖像中以像素p=(p1,p2)為中心抽取的塊。當(dāng)且僅當(dāng)位移t=(i,j)在半徑為a（塊的半徑）的圓范圍內(nèi)（記作），則像素(p1+i,p2+j)在塊R(p)中。給定兩個塊，其L2范數(shù)距離為：

式（12）的最后一項(xiàng)可以看作是兩個塊的卷積。因此可以借助快速傅里葉變換在頻域進(jìn)行乘法操作來計(jì)算。利用上述算法，對一幅圖像每個像素只需要處理一次。通過SSI，可以以常量時(shí)間得到圖像任意矩陣中每個像素的平方累加和。

3.4 塊聚合過程

把估計(jì)塊放回其原始位置可以重建整個圖像。為了改善恢復(fù)性能，如BM3D這類算法對重疊的評估塊利用加權(quán)平均的方法來重構(gòu)恢復(fù)圖像[2]。本文采用高斯核的方法，這種方法已經(jīng)在雙邊濾波和非局部均值[4]等方法中應(yīng)用來獲取平均權(quán)重，這些權(quán)重的非歸一化形式用來表示塊p與q的相似度，可以表示為：

其中，ξ用于設(shè)定可能權(quán)值合適的尺度，d是度量塊p和塊q的距離。在非局部均值方法中，權(quán)值基于中心像素為p和q的塊距離來計(jì)算。歸一化通過除以像素的權(quán)值之和實(shí)現(xiàn)。受高斯核用于平均權(quán)值的啟發(fā)，本文提出基于式（14）中的高斯核的塊的聚合權(quán)重，其中d采用馬式距離度量，該距離已被用于基于GMM的聚類方法，作為測量聚類的高斯分布相似性的標(biāo)準(zhǔn)。因此第r個高斯分布導(dǎo)出的塊的權(quán)重由式（14）計(jì)算得到。

這些權(quán)重分配給整個塊而不是中心像素。與其他基于高斯核的方法（如非局部均值法）相比，本文方法權(quán)重是基于塊與模型的相似度來測量的，而不是塊與塊相似度。通過使用馬氏距離，與估計(jì)高斯分布越相似的塊就有更高的權(quán)值。

雖然使用L2范數(shù)距離的相似性度量，聚類的方法似乎沒有使得聚類塊與高斯分布較高概率擬合，但是通過使用基于與高斯分布相似度的聚合權(quán)重，可以得到圖像上的空間域高斯相似度。因此，隨著迭代的進(jìn)行，具有更高相似性的高斯分布的塊通過L2范數(shù)聚類分組在一起，這表明使用這種權(quán)重進(jìn)行平均的重要性。

3.5 初始化

由于通過迭代過程解決非凸問題，因此良好的初始化是至關(guān)重要的。本文利用Yu等人提出的方法[22]，該方法是通過從不同方向邊緣的合成圖像以及DCT基來表示各向同性的模式，學(xué)習(xí)K個分量的GMM協(xié)方差矩陣（PLE中設(shè)置為19），從而完成PLE算法的初始化過程。文獻(xiàn)[22]中指出在字典學(xué)習(xí)中，最突出的原子代表局部邊緣，這些邊緣可用于表示和恢復(fù)輪廓，因此這種初始化有助于恢復(fù)受損的塊。PLE算法第一輪的輸出即是初始的理想圖像Co。

3.6 圖像復(fù)原算法

分層貝葉斯的局部高斯混合模型完整圖像復(fù)原算法見算法2，迭代次數(shù)設(shè)置為Iters2。算法需要兩個階段：通過算法1最小化f；估計(jì)超參數(shù)μ0和Σ0。為了估計(jì)這些參數(shù)，需要依賴于第一階段估計(jì)所有塊的聚合計(jì)算得到的圖像。

算法2HBLGMM圖像復(fù)原算法

3.7 計(jì)算復(fù)雜度

算法的計(jì)算復(fù)雜度主要集中于算法1中計(jì)算(Xl,μl)的步驟，矩陣的逆運(yùn)算利用了Cholesky分解，這樣總的時(shí)間復(fù)雜度為。其中NSP是相似塊的數(shù)目，n是塊中像素?cái)?shù)目，NP是要恢復(fù)的塊的總數(shù)目。算法可以對圖像進(jìn)行子區(qū)域劃分，利用多核架構(gòu)采用并行方式進(jìn)行并行計(jì)算來加速。

4 實(shí)驗(yàn)及分析

本章給出圖像去噪和圖像填充兩個圖像復(fù)原問題求解結(jié)果。通過與一些優(yōu)秀的方法進(jìn)行對比進(jìn)而驗(yàn)證本文提出的模型。在填充問題上考慮兩種情況的插值：一種是隨機(jī)觀測的像素；一種是放大問題（可以看成是均勻觀測像素的插值問題）。對比方法的代碼來自作者公開代碼。本文實(shí)驗(yàn)用圖一部分來自經(jīng)典的合成圖像，如Lena、Barbara等，另一部分選取BSDS數(shù)據(jù)集中的測試圖像[35]。部分實(shí)驗(yàn)用圖如圖2所示，第一行為經(jīng)典合成圖像，第二行為BSDS圖像。

采用峰值信噪比（peak signal to noise ratio，PSNR）作為算法的客觀度量，PSNR定義為：

其中，x是原始的退化圖像；是估計(jì)圖像；m是圖像的像素?cái)?shù)目。估計(jì)圖像的質(zhì)量越高，會有更高的PSNR值。通過每個實(shí)驗(yàn)的10次實(shí)驗(yàn)平均值得到最終PSNR值。

4.1 參數(shù)選擇

算法涉及的主要參數(shù)包括計(jì)算μ和Σ需要設(shè)置Norm-Wishart分布的4個參數(shù)γ、ν、先驗(yàn)均值μ0和先驗(yàn)協(xié)方差Σ0以及計(jì)算高斯權(quán)重的參數(shù)ξ。

4.1.1 γ 和ν 的確定

Fig.2 Part of evaluation image圖2 部分實(shí)驗(yàn)用圖

從式（7）可見，均值μ的計(jì)算涉及到相似塊的均值估計(jì)和先驗(yàn)均值μ0。參數(shù)γ關(guān)聯(lián)于先驗(yàn)μ0的置信度，因此它的值可以在先驗(yàn)準(zhǔn)確性的置信和相似塊提供的信息間進(jìn)行折衷。隨著相似塊數(shù)目NSP的增多和塊中已知像素?cái)?shù)NKP的增加，相似塊提供的信息會得到改善。因此，γ值的計(jì)算如下：

其中，TH是閾值。對于ν可以采用類似的做法：

式（16）加上n是因?yàn)镹ormal-Wishart先驗(yàn)所要求的ν＞n-1。

通過實(shí)驗(yàn)證明上述簡單的規(guī)則是一種有效的方法。上述方法主要針對填充問題，但是在推廣到更普通的其他應(yīng)用中，需要進(jìn)一步研究。

4.1.2 μ0 和Σ0 的確定

μ0和Σ0可以通過經(jīng)典的最大似然估計(jì)的方法從Co的相似塊集合中進(jìn)行計(jì)算：

4.1.3 ξ 的設(shè)置

為了獲得良好的復(fù)原性能，對式（14）中的ξ進(jìn)行小幅的調(diào)整是必要的。例如在去噪實(shí)驗(yàn)中，針對不同的噪聲級別設(shè)置不同的ξ值：在σ≤40時(shí)，ξ=0.015；在σ＞40時(shí)，ξ=0.01在填充實(shí)驗(yàn)中，設(shè)置ξ=0.01。通過ξ的小幅調(diào)整，PSNR值取得一定的提升。

4.2 圖像去噪

在實(shí)驗(yàn)中，原始圖像利用標(biāo)準(zhǔn)差分別為30、40、50、60、70的加性高斯噪聲進(jìn)行污染，在去噪實(shí)驗(yàn)中，由于沒有未知像素要插值，因此H為單位陣。在表1中，本文方法（標(biāo)記為HBLGMM）與BM3D[2]、LSSC（learned simultaneous sparse coding）[16]、NLB[23]、EPLL[21]等優(yōu)秀的去噪算法進(jìn)行了對比。表中數(shù)值為每個噪聲標(biāo)準(zhǔn)差下所有測試圖像的平均PSNR值（單位：dB），最好的結(jié)果用加粗字體表示。

在所有噪聲級別下，本文方法比沒有應(yīng)用局部約束的全局GMM的方法（EPLL），以及基于GMM的方法（NLB），從平均來看都要優(yōu)秀。與其他全局GMM方法類似，組中所有觀測塊減掉就是每個聚類的均值向量，完成MAP的估計(jì)之后再加上，這樣做的主要目的是加速算法的執(zhí)行。之前基于GMM的方法如PLE、EPLL用于圖像去噪的性能總體低于基于稀疏的方法。本文方法的去噪結(jié)果從平均結(jié)果來看，在噪聲標(biāo)準(zhǔn)差于30～60范圍比基于稀疏的方法效果更好。LSSC方法在高噪聲下PSNR占優(yōu)，與其內(nèi)部字典訓(xùn)練的優(yōu)勢有關(guān)，但值得一提的是LSSC方法的在線字典訓(xùn)練時(shí)間過長，實(shí)際可用性較差。對比的示例圖像如圖3所示，對Barbara圖加入標(biāo)準(zhǔn)差為30的噪聲，圖中第一行為本文方法與其他優(yōu)秀方法去噪結(jié)果對比，第二行為還原圖像與原始圖像的差值圖，第三行為局部區(qū)域的放大圖對比。從放大區(qū)域清楚可見，本文方法在褲子紋理的還原上更加自然。

Table 1 Comparison of denoising results表1 去噪結(jié)果對比

圖4為高噪聲下BSDS集合中測試圖像去噪結(jié)果對比（噪聲標(biāo)準(zhǔn)差為70）。從對比圖中可見，BM3D和NLB方法在這一數(shù)據(jù)集中圖像觀感相對較差，人臉還原不夠自然；BM3D方法在帽子區(qū)域有較多波紋，EPLL方法則也在帽子區(qū)域不夠平滑，LSSC盡管PSNR值更優(yōu)，但人物臉部、背景及帽子區(qū)域有大量的偽像，整體觀感較低，而本文方法無論在PSNR還是視覺觀感上都較為理想。

4.3 圖像填充

圖像填充實(shí)驗(yàn)中設(shè)計(jì)兩種應(yīng)用場景：一種是隨機(jī)遮蔽算子（用于隨機(jī)填充）；一種是均勻網(wǎng)格下的下采樣遮蔽算子（用于圖像放大）。

在隨機(jī)填充實(shí)驗(yàn)中，設(shè)置20%、30%、40%、50%、60%、70%、80%等像素缺失率的隨機(jī)遮蔽算子應(yīng)用于原始圖像中。所提出方法的填充性能與MCA（morphological component analysis）[36]、FOE（field of exports）[37]、KR（kernel regression）[38]、BP（beta process）[39]、PLE[22]等方法進(jìn)行了對比，所有方法圖像塊的大小均使用的是8×8的大小。用于計(jì)算累積權(quán)重的式（14）中參數(shù)ξ設(shè)置為0.01。

Fig.3 Comparison of visual quality of denoising results(σ=30)圖3 去噪視覺質(zhì)量對比(σ=30)

Fig.4 Comparison of visual quality of denoising results(σ=70)圖4 去噪視覺質(zhì)量對比(σ=70)

表2給出本文方法與其他的圖像填充方法對比的結(jié)果，表中數(shù)值為不同數(shù)據(jù)丟失率下所有測試圖像的平均PSNR值。從表2可見，本文方法在所有的丟失率下比對比方法都要優(yōu)秀。

圖5給出局部Barbara圖像在隨機(jī)丟失80%像素情況下還原對比示例，重點(diǎn)是比較圖像的平滑和紋理區(qū)域的填充結(jié)果。從圖可見，本文方法比其他方法無論在紋理還是平滑區(qū)域，效果更為理想。

圖像填充的一種特殊情況是圖像分辨率放大問題，可以看成是均勻采樣圖像的插值問題。然而，圖像放大問題要比隨機(jī)觀測像素的填充更具有挑戰(zhàn)性。因?yàn)檫@種規(guī)則的采樣，目前提出的很多算法未能很好地復(fù)原圖像中潛在紋理。如文獻(xiàn)[40]中所討論的，隨機(jī)采樣要比均勻采樣可以得到更好的結(jié)果。本文算法對于由均勻采樣帶來的復(fù)原錯誤更為魯棒。

Table 2 Comparison of random inpainting results表2 隨機(jī)填充結(jié)果對比

Fig.5 Comparison of visual quality of random inpainting(data lost ratio=80%)圖5 80%丟失率下隨機(jī)填充視覺質(zhì)量對比

實(shí)驗(yàn)中對真實(shí)的高分辨圖像（high resolution，HR）采用2倍的下采樣得到低分辨圖像（low resolution，LR），對LR上采樣后，再施加均勻采樣遮罩（uniform sample masking），得到退化后的圖像用于圖像填充復(fù)原，本文方法與EPLL[21]、Patch Nonlocal[40]、NEDI（new edge-directed interpolation）[41]、NARM（nonlocal autoregressive modeling）[42]、Bicubic等方法進(jìn)行了對比。

圖6給出對比結(jié)果，從圖可見本文方法比其他方法具有更為清晰的重建結(jié)果，能夠較好地找到真實(shí)的紋理。

4.4 分析

在利用高斯混合模型先驗(yàn)建模下，無法使用一組固定的聚類來準(zhǔn)確表示圖像中很少出現(xiàn)的塊，例如邊緣或紋理。像PLE這樣的方法實(shí)際上是半局部的（128×128區(qū)域），并不能解決這個問題。EPLL則是通過從200萬個自然圖像塊中學(xué)習(xí)得到200個分量的高斯混合模型[21]，這要比PLE方法有更多的混合分量。如文獻(xiàn)[25]所指出的，EPLL的策略在去噪任務(wù)中要比PLE方法更加低效。在所有上面的實(shí)驗(yàn)中，無論在去噪上，還是在填充和放大問題上HBLGMM都要比EPLL和PLE方法更為優(yōu)秀。從視覺質(zhì)量來看，圖像的細(xì)節(jié)得到了較好的重建，圖像更加清晰。本文方法從局部窗口中的相似塊執(zhí)行估計(jì)，通過考慮局部鄰域來強(qiáng)化自相似性的假設(shè)，這種策略對于模型進(jìn)行鄰域限制，因此使得估計(jì)更加穩(wěn)健。塊的相似性是通過高斯分布的相似性進(jìn)行度量的，聚合權(quán)重考慮了圖像塊與所估計(jì)高斯分布的相似性，結(jié)合圖像空間域的相似性，從而會將更為相似的高斯塊通過L2范數(shù)度量聚類匯集到一起。受益于聚類中對于每個塊使用不同的權(quán)重，這在改善圖像復(fù)原質(zhì)量上扮演重要的角色。

Fig.6 Comparison of image zooming result圖6 圖像放大結(jié)果對比圖

5 結(jié)束語

本文提出將分層貝葉斯模型引入到圖像塊的高斯局部先驗(yàn)建模中并用于求解圖像復(fù)原問題，使得對于缺失像素的逆問題求解更加穩(wěn)定，并從局部窗口中進(jìn)行相似塊估計(jì)，利用基于馬式距離的高斯分布相似度的聚合權(quán)重方法，將局部高斯模型擴(kuò)展到高斯混合模型框架。利用上述方法，圖像復(fù)原問題可以在統(tǒng)一的框架中進(jìn)行，將提出的模型應(yīng)用于圖像去噪、圖像填充等問題中，取得了良好的效果。對于圖像塊嘗試使用其他的多元分布，比如多元拉普拉斯，以及采用不同的幾何距離度量方法將是未來研究的課題。