基于重加權(quán)低秩近似和高斯混合模型的圖像塊效應(yīng)去除算法*

趙 峰, 陳 旭, 余志凱

(1.上海軍民兩用科學(xué)技術(shù)促進(jìn)會(huì)·上?！?00235; 2.空裝駐上海地區(qū)第一軍事代表室·上?！?01109)

0 引 言

基于塊的變換編碼在硬件使用方面的靈活性和便捷性，使其在許多流行的圖像或視頻編碼標(biāo)準(zhǔn)中得到了廣泛的應(yīng)用，例如JPEG[1]、AVC[2]等。在眾多的變換中，塊離散余弦變換以其簡(jiǎn)潔的表示形式和較強(qiáng)的去相關(guān)能力，應(yīng)用最為廣泛。然而，由于BDCT編碼單獨(dú)處理圖像中的每個(gè)塊，經(jīng)常會(huì)在視頻編碼幀中產(chǎn)生可視的塊偽影，特別是對(duì)于具有冗余信息的圖像。塊偽影會(huì)使相鄰塊之間不連續(xù)，這將大大降低視覺(jué)效果。圖像去塊效應(yīng)方法由于其不需要改變現(xiàn)有編碼技術(shù)的優(yōu)點(diǎn)，被認(rèn)為是一種很有前景的解決方案[3-12]。本文主要研究了當(dāng)前計(jì)算機(jī)系統(tǒng)中應(yīng)用最廣泛的BDCT編碼圖像的去塊效應(yīng)方法。

近幾十年來(lái)，人們研究了許多先進(jìn)的圖像去塊效應(yīng)方法，一般可分為基于圖像增強(qiáng)(Image Enhancement, IE)[3]和基于圖像反問(wèn)題(Image Inverse Problem, IIP)[13]的去塊效應(yīng)方法兩大分支?；贗E的去塊效應(yīng)方法的基本思想是將去塊效應(yīng)作為一個(gè)增強(qiáng)問(wèn)題來(lái)處理，它通常在空間或頻率域中進(jìn)行濾波操作來(lái)平滑塊偽影[6, 14-17]?；贗IP的去塊效應(yīng)方法是在解碼器處對(duì)恢復(fù)原始圖像進(jìn)行正則化先驗(yàn)約束[11, 18-19]。傳統(tǒng)的基于IIP的去塊方法只對(duì)恢復(fù)的原始圖像施加先驗(yàn)約束，忽略了偽影的統(tǒng)計(jì)分布，導(dǎo)致解碼圖像中存在可見(jiàn)的殘余偽影。為了解決這個(gè)問(wèn)題，本文重點(diǎn)研究了基于IIP的去塊方法，并提出了一種新的去塊效應(yīng)框架，它同時(shí)對(duì)原始圖像和偽影進(jìn)行預(yù)處理。通過(guò)對(duì)這兩個(gè)目標(biāo)設(shè)計(jì)不同的先驗(yàn)?zāi)Ｐ蛠?lái)描述它們各自的特性，可以在解碼器處恢復(fù)出穩(wěn)定且滿(mǎn)意的高質(zhì)量解碼圖像。

本文基于最近提出的低秩約束先驗(yàn)?zāi)Ｐ?，設(shè)計(jì)了一個(gè)非局部低秩近似(Low-Rank Approximation, LRA)來(lái)約束去塊解碼圖像，它在保持圖像內(nèi)在局部結(jié)構(gòu)的同時(shí)，探索圖像的非局部自相似性。近年來(lái)，高斯混合模型(Gaussian Mixture Model, GMM)在對(duì)圖像中特定的塊狀結(jié)構(gòu)進(jìn)行建模表現(xiàn)優(yōu)越，并且能生成更高質(zhì)量的恢復(fù)結(jié)果。因此，為了去除偽影，本文設(shè)計(jì)一個(gè)基于GMM的先驗(yàn)?zāi)Ｐ蛠?lái)擬合偽影的統(tǒng)計(jì)分布。在最大后驗(yàn)概率(Maximum A Posteriori, MAP)框架的基礎(chǔ)上，將上述兩個(gè)先驗(yàn)信息連接到同一目標(biāo)函數(shù)中，提出了一種基于LRA先驗(yàn)和GMM先驗(yàn)的去塊效應(yīng)方法。

1 基于聯(lián)合先驗(yàn)的圖像去塊效應(yīng)算法

在本節(jié)中，詳細(xì)介紹了本文所設(shè)計(jì)的LRA和GMM先驗(yàn)，提出并分析了基于MAP的綜合框架，展示了去塊能力。

圖像去塊的目的是利用觀(guān)測(cè)數(shù)據(jù)本身存在的信息，在解碼器上從恢復(fù)的圖像中消除塊狀偽影，從而獲得較高視覺(jué)質(zhì)量的圖像。假設(shè)有一幅大小為N×N的圖像，且其沿行的向量化表示為x。設(shè)y為所觀(guān)測(cè)到的基于BDCT的編碼圖像，該圖像可以從JPEG解碼器中獲得。因此，可以將退化公式表示為：

y=x+e

(1)

假設(shè)偽影和圖像是獨(dú)立的，利用MAP理論以及貝葉斯似然理論，式(1)可以轉(zhuǎn)化為以下公式：

(x)=argmaxlogp(y|x,e)+logp(x)+logp(e)

(2)

其中式(2)中的第一項(xiàng)稱(chēng)為數(shù)據(jù)保真度，其余兩項(xiàng)分別是關(guān)于圖像和偽影的函數(shù)。與傳統(tǒng)的基于MAP的去塊方法不同，文中提出的似然函數(shù)同時(shí)考慮了偽影e和圖像x，并在同一恢復(fù)框架中使用兩個(gè)不同的分布函數(shù)來(lái)表征各自的特性。首先，利用重權(quán)重低秩能夠捕獲相關(guān)性信號(hào)樣本的特性來(lái)實(shí)現(xiàn)圖像真實(shí)內(nèi)容的先驗(yàn)約束，更好地客觀(guān)反映圖像內(nèi)容的自相似性。其次，由于偽影的分布難以捕獲，這里利用GMM分量對(duì)偽影分量進(jìn)行約束，達(dá)到對(duì)偽影進(jìn)行分布建模的目的。

1.1 重加權(quán)低秩近似先驗(yàn)

最近，有一種基于塊的低秩先驗(yàn)?zāi)Ｐ捅粦?yīng)用在圖像去噪問(wèn)題上。在這個(gè)方法中，低秩先驗(yàn)對(duì)一組帶有相似結(jié)構(gòu)的非局部塊進(jìn)行約束，其能夠同時(shí)利用圖像的局部結(jié)構(gòu)和非局部結(jié)構(gòu)的自相似性。本文提出了一種新穎的重加權(quán)低秩近似先驗(yàn)算法，該算法應(yīng)用在去塊框架中用來(lái)約束原始圖像并保留更精細(xì)的結(jié)構(gòu)。下文將給出重加權(quán)低秩近似先驗(yàn)的詳細(xì)說(shuō)明。

(3)

其中d0是自定義常數(shù)，作為約束塊之間相似性的上限。

可利用矩陣Pi按如下方式構(gòu)造重加權(quán)低秩近似先驗(yàn)：

(4)

1.2 對(duì)于偽影的高斯混合模型先驗(yàn)

本節(jié)將討論如何設(shè)計(jì)一個(gè)在編碼過(guò)程中約束塊偽影的先驗(yàn)。從(1)中提出的退化模型可知，塊偽影為原始圖像與其觀(guān)察版本(例如JPEG壓縮圖像)之間的殘留誤差e。假設(shè)每個(gè)塊偽影ei的分布可以表示為一組混合隨機(jī)高斯分量的和，如下所示：

(5)

其中μk和Σk分別表示第k個(gè)高斯分量的平均值和協(xié)方差矩陣，pk是權(quán)重參數(shù)且Σkpk=1。利用公式(5)中的假設(shè)，可得如下所示的塊偽影先驗(yàn)：

(6)

其中ei定義為ei=Rie。為了采用公式(6)約束殘留，需要學(xué)習(xí)k個(gè)高斯分量的參數(shù)，并利用這些高斯分量的線(xiàn)性組合來(lái)表示偽影的塊效應(yīng)現(xiàn)象。因此本文以離線(xiàn)的方式訓(xùn)練高斯混合模型的參數(shù)。

1.3 基于最大后驗(yàn)框架的綜合目標(biāo)函數(shù)

通過(guò)上述關(guān)于原圖像和塊偽影的兩個(gè)先驗(yàn)，構(gòu)建出如下幾項(xiàng)：

-logp(x)=ΦLRA(x),-logp(e)=ΦGMM(x)-

(7)

通過(guò)將公式(7)納入公式(2)的最大后驗(yàn)框架，就能獲得如下去塊效應(yīng)算法的綜合目標(biāo)函數(shù)：

(8)

其中λ和η為平衡參數(shù)，通過(guò)迭代求解(8)中的最小化問(wèn)題，就可以得到整體最優(yōu)解，并獲得去除偽影后的高質(zhì)量復(fù)原圖像。

2 所提出框架的數(shù)值求解方案

本節(jié)將詳細(xì)介紹用于解決式(8)中提出的新目標(biāo)函數(shù)的數(shù)值方案。將式(4)和式(6)代入式(8)，可得以下最小化問(wèn)題：

(9)

為了使(9)易于求解，本文運(yùn)用一種基于交替方向乘子法(Alternating Direction Method of Multipliers, ADMM)的迭代數(shù)值方案。此外，通過(guò)引入兩個(gè)輔助變量以將式(9)轉(zhuǎn)換為優(yōu)化約束問(wèn)題，如下所示：

i=1,2,3…

(10)

(11)

其中μ是懲罰參數(shù)，u和vi是輔助變量，y1和y2是拉格朗日參數(shù)。在ADMM中，式(11)的近似解等價(jià)于在第k次迭代中求解最小化問(wèn)題：

(12)

(13)

(14)

(15)

然后將拉格朗日參數(shù)y1和y2更新為：

y1=y1+(u-x)

(16)

(y2)i=(y2)i+(vi-xi),i=1,2,3,…

(17)

x的子問(wèn)題是一個(gè)二次優(yōu)化問(wèn)題，其封閉形式的解可以通過(guò)下式求得：

(18)

對(duì)于e，由于每個(gè)獨(dú)立塊都是二次型的，ek+1解為如下：

(19)

給定xk+1，u的子問(wèn)題由于其非凸形式而有些復(fù)雜。其最小化問(wèn)題需要對(duì)矩陣x-y1的奇異值進(jìn)行多次內(nèi)部迭代求解。將(14)轉(zhuǎn)換為基于塊組的形式如下：

(20)

(21)

(22)

(23)

通過(guò)上述說(shuō)明，所有關(guān)于變量的子問(wèn)題都得到了解決。為了使方案更加清晰，算法1給出了所提出的去塊框架的整體算法。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的去塊算法的有效性，在基準(zhǔn)圖像數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，將本文所提算法與目前出色的去塊方法進(jìn)行了比較，包括標(biāo)準(zhǔn)JPEG解碼器，基于專(zhuān)家先驗(yàn)的塊效應(yīng)DCT編碼(BDCTCFoE)[12]，基于形狀自適應(yīng)的DCT (SADCT)[7]，基于BM3D的去塊效應(yīng)算法[20]，基于KSVD的去塊效應(yīng)算法[21]以及基于RALD的偽像還原方法[11]。在本文的實(shí)驗(yàn)中，影響恢復(fù)性能的主要有四個(gè)參數(shù)，包括塊的大小、重疊步長(zhǎng)、每組中塊的總數(shù)以及搜索窗口的大小。為了便于實(shí)現(xiàn)，設(shè)塊的尺寸為8×8, 將塊之間的重疊步長(zhǎng)設(shè)置為4像素，每組中的塊總數(shù)為20，并且將搜索窗口的面積設(shè)置為20×20，將所有基準(zhǔn)測(cè)試圖像調(diào)整為256×256，如圖1所示。采用JPEG壓縮標(biāo)準(zhǔn)生成退化圖像，JPEG壓縮標(biāo)準(zhǔn)是計(jì)算機(jī)系統(tǒng)中廣泛使用的視頻編碼壓縮標(biāo)準(zhǔn)。并采用JPEG標(biāo)準(zhǔn)的三種質(zhì)量因子(Quality Factor, QF)進(jìn)行驗(yàn)證實(shí)驗(yàn)，QF分別為5、10、15。

圖1 基準(zhǔn)測(cè)試圖像Fig.1 Benchmark testing images

由于空間有限，本文只顯示了兩張QF = 10的測(cè)試圖像的視覺(jué)解碼結(jié)果。此外，為了驗(yàn)證本文提出的算法的性能，采用了兩種常用的客觀(guān)指標(biāo)，即峰值信噪比(Peak Signal to Noise Ratio, PSNR)和結(jié)構(gòu)相似度度量(Structural Similarity Index Measurement, SSIM)，以評(píng)估比較方法之間的恢復(fù)結(jié)果。測(cè)試圖像的PSNR結(jié)果如圖2～圖6所示，SSIM結(jié)果如圖7～圖11所示。

圖2 Barbara的PSNR結(jié)果Fig.2 PSNR results of Barbara

圖3 輪船的PSNR結(jié)果Fig.3 PSNR results of boat

圖4 蝴蝶的PSNR結(jié)果Fig.4 PSNR results of butterfly

圖5 房子的PSNR結(jié)果Fig.5 PSNR results of house

圖6 Lena的PSNR結(jié)果Fig.6 PSNR results of Lena

圖7 Barbara的SSIM結(jié)果Fig.7 SSIM results of Barbara

圖8 輪船的SSIM結(jié)果Fig.8 SSIM results of boat

圖9 蝴蝶的SSIM結(jié)果Fig.9 SSIM results of butterfly

圖10 房子的SSIM結(jié)果Fig.10 SSIM results of house

圖11 Lena的SSIM結(jié)果Fig.11 SSIM results of Lena

從視覺(jué)質(zhì)量比較結(jié)果可以看出，在通過(guò)標(biāo)準(zhǔn)JPEG重建方法直接恢復(fù)的圖像中會(huì)生成明顯的塊狀偽影。兩種基于字典學(xué)習(xí)的去塊方法KSVD和RALD在某種程度上消除了偽影，但解碼圖像中仍存在部分偽影。BDCTCFoE雖然抑制了塊的形成，但在重建圖像中產(chǎn)生額外的斑點(diǎn)。在比較方法中，BM3D和SADCT以及本文提出的算法得到了比其他方法更好的結(jié)果。然而，由于設(shè)計(jì)了非局部低秩先驗(yàn)算法，因此與BM3D和SADCT相比，本文提出的算法在邊緣和細(xì)節(jié)恢復(fù)方面具有出色的性能，從而帶來(lái)了更高的視覺(jué)質(zhì)量，并有效地將偽影從觀(guān)測(cè)圖像中分離出來(lái)。此外，與其他去塊效應(yīng)方法相比，優(yōu)秀的實(shí)驗(yàn)結(jié)果也顯示了本文提出的算法的有效性和優(yōu)勢(shì)。

4 結(jié) 論

本文提出了一種用于圖像去塊效應(yīng)問(wèn)題的新框架。新框架由約束原圖像和約束塊偽影兩種先驗(yàn)組成。重加權(quán)低秩近似先驗(yàn)?zāi)軌虺浞值乩脠D像中隱藏的非局部自相似性和冗余信息，這有助于在重構(gòu)圖像時(shí)保留更多細(xì)節(jié)。高斯混合模型先驗(yàn)通過(guò)訓(xùn)練和作用于偽影上能夠捕獲偽影的基礎(chǔ)模式。為了求解本文提出的算法，設(shè)計(jì)了一種基于ADMM的數(shù)值求解算法能有效地求解目標(biāo)函數(shù)。大量的實(shí)驗(yàn)結(jié)果證明，本文提出的算法無(wú)論在視覺(jué)效果還是在評(píng)估指標(biāo)方面均能比其他算法獲得質(zhì)量更高的解碼圖像。