基于圖像先驗(yàn)和結(jié)構(gòu)特征的盲圖像復(fù)原算法

干宗良，邱一雯，朱秀昌

(南京郵電大學(xué)通信與信息工程學(xué)院，南京 210013)

0 引言

圖像模糊造成圖像的主觀質(zhì)量下降，影響圖像的清晰度。目前，大部分的去模糊算法是將圖像模糊建模為原始圖像與一個(gè)模糊核線性卷積的過程。因此圖像去卷積的過程就是模糊圖像復(fù)原的過程。當(dāng)模糊核已知時(shí)，就是對(duì)模糊圖像用已知的模糊核進(jìn)行去卷積，這種方法稱為非盲去卷積法。但實(shí)際中，模糊核大都是未知的，那就需要在去卷積的過程中同時(shí)估計(jì)模糊核，這樣的方法稱為盲去卷積。

模糊圖像的盲去卷積是一個(gè)比圖像復(fù)原更加病態(tài)的問題，僅由一個(gè)觀測(cè)到的模糊圖像要估計(jì)出兩個(gè)未知量——去模糊圖像和模糊核。部分盲去卷積方法是通過輸入多幅圖像來實(shí)現(xiàn)的，如Rav-Acha［1］需要同時(shí)輸入兩幅運(yùn)動(dòng)模糊圖像;Yuan［2］則是輸入一幅模糊圖像和一幅噪聲圖像。一些方法是利用外加的硬件，如Ben-Ezra［3］把一個(gè)低分辨率的攝像機(jī)附在一個(gè)高分辨率的攝像機(jī)上，依靠攝像機(jī)來記錄模糊核的運(yùn)動(dòng)軌跡。另外還有部分算法利用了圖像的先驗(yàn)信息，如Fergus［4］對(duì)圖像的長(zhǎng)拖尾先驗(yàn)分布進(jìn)行零均值的高斯混合分布擬合，再采用變化的貝葉斯估計(jì)出復(fù)原圖像和模糊核。雖然復(fù)原圖像的主觀質(zhì)量較好，但算法需要用戶在模糊圖像中劃出一個(gè)小塊，并輸入模糊核大小，最終的去模糊效果與用戶的這兩個(gè)輸入有關(guān)。Shan［5］在利用圖像先驗(yàn)知識(shí)的同時(shí)，通過迭代的方法交互估計(jì)去模糊圖像和模糊核，這類方法針對(duì)一類模糊，且計(jì)算時(shí)間較長(zhǎng)。

針對(duì)模糊核參數(shù)未知的情況，對(duì)模糊核參數(shù)進(jìn)行離散化，規(guī)避模糊核的估計(jì)，利用離散化的模糊核參數(shù)對(duì)模糊圖像進(jìn)行去卷積，得到對(duì)應(yīng)各離散模糊核參數(shù)的復(fù)原圖像序列。在最大后驗(yàn)概率框架下，充分利用圖像的先驗(yàn)知識(shí)和圖像結(jié)構(gòu)特征，針對(duì)復(fù)原圖像存在的模糊、振鈴等現(xiàn)象，提出一種復(fù)原圖像的判決準(zhǔn)則，通過對(duì)復(fù)原圖像序列的判決，從中選擇出質(zhì)量最優(yōu)的復(fù)原圖像。本文提出的盲復(fù)原算法消除了由于模糊核估計(jì)不準(zhǔn)確造成的復(fù)原效果不理想的情況，且無需用戶輸入信息，另外，該計(jì)算方法無迭代，減少了復(fù)雜度。

1 基于圖像先驗(yàn)和圖像結(jié)構(gòu)特征的模糊圖像盲復(fù)原算法

1.1 問題描述

圖像的模糊降質(zhì)過程可用下面的數(shù)學(xué)模型來描述

式中，x是原始清晰圖像;H是模糊核;y是模糊圖像;n是噪聲。

由式(1)可以看出，從模糊圖像y恢復(fù)出清晰圖像x的去卷積過程是一個(gè)典型的病態(tài)問題。而直接估計(jì)模糊核H又比較困難，且準(zhǔn)確度也不能較好的保證。若采用迭代的方式同時(shí)估計(jì)模糊核和復(fù)原圖像則較容易產(chǎn)生過擬合現(xiàn)象?；谏鲜鰡栴}，從另一角度出發(fā)，將表征模糊核函數(shù)的模糊核參數(shù)進(jìn)行離散化，避免由模糊核估計(jì)所帶來的一系列問題。

1.2 提出的盲復(fù)原算法

假設(shè)由模糊核參數(shù)表示的模糊核函數(shù)為

式中，p為模糊核參數(shù)。

所提出的盲復(fù)原算法首先將模糊核參數(shù)進(jìn)行離散化，即

式中，pi為離散化的模糊核參數(shù)。

然后對(duì)模糊圖像y采用由不同的模糊核參數(shù)得到的模糊核進(jìn)行去卷積，得到對(duì)應(yīng)的一系列復(fù)原圖像 X={x1，x2，x3……xn}，然后，利用本文提出的復(fù)原圖像判決準(zhǔn)則，從復(fù)原圖像序列中選出最優(yōu)的復(fù)原圖像x*。盲復(fù)原算法的流程框圖，如圖1所示。

圖1 提出的盲復(fù)原算法流程框圖

1.3 基于最大后驗(yàn)估計(jì)的復(fù)原圖像判決準(zhǔn)則

已知模糊圖像y及由n個(gè)模糊核參數(shù){pi，i=1，2，3……，n}去卷積得到的復(fù)原圖像序列 X={x1，x2，x3……xn}，從中選出最優(yōu)的復(fù)原圖像x*，其最大后驗(yàn)估計(jì)(MAP，maximum a posteriori)的求解目標(biāo)函數(shù)為

根據(jù)貝葉斯公式，式(4)可轉(zhuǎn)化為

對(duì)于同一幅模糊圖像y，P(y)固定不變，所以式(5)可簡(jiǎn)化為

對(duì)上式右邊取對(duì)數(shù)，其單調(diào)性不變，最終可得

上式的數(shù)學(xué)理解為，使得式logP(x)+logP(y|x)最大的復(fù)原圖像x即為模糊圖像y的最優(yōu)的復(fù)原圖像x*。

上式的物理理解為，P(x)表示復(fù)原圖像的保真度;P(y|x)表示復(fù)原圖像與模糊圖像的相似程度。當(dāng)復(fù)原圖像x保真度較高且與模糊圖像y具有較大相似度時(shí)，該復(fù)原圖像即判斷為最優(yōu)的復(fù)原圖像x*。

由于去卷積后的圖像會(huì)存在模糊、振鈴等現(xiàn)象，因此復(fù)原效果較好的圖像應(yīng)具備模糊度小、振鈴小且與模糊圖像在內(nèi)容上有相似性的特點(diǎn)。本文采用三個(gè)指標(biāo)來衡量復(fù)原圖像的復(fù)原效果:(1)基于圖像梯度統(tǒng)計(jì)特性的模糊度描述指標(biāo)，定義為D;(2)描述復(fù)原圖像振鈴現(xiàn)象的指標(biāo)，定義為R;(3)采用變化后的基于梯度的結(jié)構(gòu)相似度［6］指標(biāo)來衡量復(fù)原圖像與模糊圖像的相似程度，定義為G。其中前兩個(gè)指標(biāo)對(duì)應(yīng)于MAP框架，即式(6)的前項(xiàng)P(x)，第三個(gè)指標(biāo)則對(duì)應(yīng)于后項(xiàng)P(y|x)。

最后，由三個(gè)描述指標(biāo)進(jìn)行簡(jiǎn)單的加權(quán)求和，得到本文的復(fù)原圖像判決準(zhǔn)則E

式中，λ1，λ2是權(quán)重系數(shù)。

1.3.1 圖像的梯度分布特性D

在實(shí)際中，雖然自然圖像的場(chǎng)景千變?nèi)f化，內(nèi)容各不相同，但Field［7］研究發(fā)現(xiàn):自然圖像的梯度統(tǒng)計(jì)特性普遍遵循一個(gè)長(zhǎng)拖尾的分布(a heavy-tailed distribution)，即自然圖像梯度的幅度值主要為零或者很小，圖像中邊界、邊緣處梯度的幅度值較大，形成一個(gè)長(zhǎng)拖尾的分布。而模糊的自然圖像，由于圖像的邊界和邊緣被模糊了，強(qiáng)邊緣邊界已經(jīng)丟失，無較大的梯度幅度值，因此模糊圖像的梯度幅度值幾乎都集中在零值周圍，不滿足長(zhǎng)拖尾分布。

圖2的(a)和(b)分別是一幅自然圖像和一幅模糊圖像。(c)是它們的梯度幅度分布。從圖中可以看出，清晰圖像的梯度幅度值滿足長(zhǎng)拖尾分布，而模糊圖像的梯度幅度值分布無長(zhǎng)拖尾，且模糊程度越大梯度幅度值分布就越集中在零值周圍，拖尾也越短。

圖2 自然圖像與模糊圖像

這里利用圖像梯度的這一統(tǒng)計(jì)特性，來衡量圖像的模糊程度。

首先，計(jì)算復(fù)原圖像水平和垂直方向上的梯度，對(duì)水平和垂直梯度圖像分別計(jì)算其對(duì)數(shù)的分布。然后，分別對(duì)兩個(gè)分布進(jìn)行簡(jiǎn)單的指數(shù)函數(shù)擬合，設(shè)擬合函數(shù)為f(d)，d為梯度，如圖3所示，圖中，星星點(diǎn)是梯度分布取對(duì)數(shù)后的散點(diǎn)圖，曲線是這些散點(diǎn)的擬合曲線。

圖3 圖像梯度對(duì)數(shù)分布的曲線擬合圖

這里，將復(fù)原圖像清晰度指標(biāo)D定義為D=－f(d*)，即擬合函數(shù)f(x)在梯度值為d*處的函數(shù)值的負(fù)數(shù)，D很大時(shí)圖像很模糊。

1.3.2 復(fù)原圖像的振鈴程度R

大部分的模糊圖像在去卷積后會(huì)產(chǎn)生振鈴現(xiàn)象。復(fù)原圖像產(chǎn)生振鈴現(xiàn)象的因素有很多，包括去卷積算法的參數(shù)不同、去卷積算法假設(shè)的圖像表示模型和實(shí)際圖像之間的誤差，以及模糊圖像本身受噪聲污染等。

為了說明圖像的振鈴現(xiàn)象，嚴(yán)重的振鈴圖像如圖4所示。從圖中容易看到邊緣附近出現(xiàn)與原圖邊緣形狀相同的重復(fù)振蕩紋理。而這種在復(fù)原圖像中出現(xiàn)的振鈴現(xiàn)象在原清晰圖像中是不存在的。因此，振鈴現(xiàn)象嚴(yán)重影響復(fù)原圖像的主觀質(zhì)量。

圖4 復(fù)原圖像的振鈴現(xiàn)象

這里采用對(duì)邊緣圖像平行曲線統(tǒng)計(jì)的方法［8］，來衡量復(fù)原圖像的振鈴強(qiáng)度。

Step1.對(duì)去模糊圖像進(jìn)行邊緣檢測(cè)，得到邊緣二值圖像B。

Step2.采用共生向量來測(cè)度B的平行振鈴曲線。

二值圖像的共生向量定義為

式中，r是距離范圍，在像素點(diǎn)的r距離范圍內(nèi)測(cè)度該像素點(diǎn)的平行振鈴曲線;ω是掃描方向。這里對(duì)B在四個(gè)方向(ω=0，3)上進(jìn)行共生向量C掃描。

Step3.對(duì)四個(gè)方向的共生向量值進(jìn)行求和并歸一化，得到衡量復(fù)原圖像振鈴強(qiáng)弱的指標(biāo)R

式中，H和W分別是圖像的長(zhǎng)和寬。容易看到，R越小振鈴現(xiàn)象越弱。

1.3.3 圖像相似程度G

前面提出的兩個(gè)指標(biāo)——清晰度指標(biāo)D(表征圖像的模糊程度)和振鈴指標(biāo)R(表征圖像振鈴強(qiáng)弱)是從復(fù)原圖像本身提取的。但對(duì)于部分復(fù)原圖像，如圖5所示，主觀上很容易看出圖5(a)的復(fù)原效果優(yōu)于圖5(b)，但兩幅圖計(jì)算得到的振鈴指標(biāo)R相差不大，圖(b)的清晰度指標(biāo)D甚至優(yōu)于圖(a)。這主要是因?yàn)閳D(b)具有更多的非正常細(xì)節(jié)，這樣就不能準(zhǔn)確地判決出最優(yōu)的復(fù)原圖像了。因此，還需要一個(gè)指標(biāo)來衡量復(fù)原圖像與模糊圖像結(jié)構(gòu)上的相似度，結(jié)合指標(biāo)D和R共同判決最優(yōu)解。

圖5 復(fù)原圖像比較

這里采用基于圖像結(jié)構(gòu)信息的圖像質(zhì)量評(píng)價(jià)方法［9］(SSIM，structural similarity)。這種方法是有參考的圖像質(zhì)量評(píng)價(jià)。將已知的模糊圖像設(shè)為參考圖像，評(píng)價(jià)復(fù)原圖像與模糊圖像之間的相似程度。由于基本的SSIM對(duì)圖像邊緣、跳變、紋理處的結(jié)構(gòu)信息不敏感，在這里并不能很好的衡量模糊圖像與復(fù)原圖像的相似度，所以本文采用改進(jìn)的基于梯度的SSIM 評(píng)價(jià)方法［6］(GSSIM，gradient based structural similarity)?；谔荻鹊慕Y(jié)構(gòu)信息評(píng)價(jià)方法對(duì)圖像的邊緣紋理敏感，適用于這里所遇到的問題。

Step1.提取復(fù)原圖像和模糊圖像的梯度信息，得到梯度圖像x'和y';

Step2.對(duì)兩幅梯度圖像進(jìn)行SSIM的評(píng)價(jià)，得到梯度結(jié)構(gòu)相似度評(píng)價(jià)指標(biāo)GSSIM，具體見文獻(xiàn)［6］。GSSIM越大，兩幅圖像的相似度越大。

圖像相似程度描述G=1－GSSIM(且令G滿足0≤G≤1)是衡量模糊圖像與復(fù)原圖像之間的差異程度指標(biāo)，G越小，兩幅圖的差異越小，即越相似。

2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的盲復(fù)原算法的有效性，實(shí)驗(yàn)對(duì)Lena(512×512)、Boat(512×512)、Barbara(512×512)和Hill(512×512)等標(biāo)準(zhǔn)圖像進(jìn)行測(cè)試，算法在Matlab7.0平臺(tái)上實(shí)現(xiàn)。

實(shí)驗(yàn)采用三種非盲復(fù)原算法，分別是:近幾年較為流行的基于圖像塊匹配的三維濾波算法(簡(jiǎn)稱BM3DDEB)［10］，正則化濾波算法和經(jīng)典的 Wiener濾波算法［11］。實(shí)驗(yàn)對(duì)高斯模糊和運(yùn)動(dòng)模糊兩種常見的圖像模糊進(jìn)行復(fù)原。以高斯模糊為例，首先對(duì)測(cè)試圖像加高斯模糊，高斯模糊窗口固定為25，強(qiáng)度為σadd，然后用離散化的高斯模糊核參數(shù)，實(shí)驗(yàn)中設(shè)定為 σ ={0.5，1，1.5，2，2.5，3，3.5，4，4.5，5，5.5，6，6.5，7，7.5，8，8.5，9，9.5，10}依次作為非盲去卷積算法的輸入?yún)?shù)，得到相應(yīng)的復(fù)原圖像X={x1，x2，x3……x20}。最后利用本文提出的復(fù)原圖像判決準(zhǔn)則衡量各復(fù)原圖像質(zhì)量，得到最優(yōu)的復(fù)原圖像x*，x*所對(duì)應(yīng)的高斯模糊參數(shù)σ即為所選擇的高斯模糊強(qiáng)度。運(yùn)動(dòng)模糊圖像的實(shí)驗(yàn)類似。在進(jìn)行了大量的統(tǒng)計(jì)實(shí)驗(yàn)后，將判決準(zhǔn)則的加權(quán)系數(shù)設(shè)為λ1=0.31，λ2=0.61。

本算法利用以上三種不同非盲復(fù)原方法對(duì)受不同程度高斯模糊的圖像復(fù)原結(jié)果的客觀評(píng)價(jià)和所選擇的σ，見表1。實(shí)驗(yàn)中BM3DDEB代碼在http://www.cs.tut.fi/～ foi/GCF-BM3D 上下載得到，正則化算法和Wiener濾波算法直接采用Matlab中的函數(shù)。

由表1可以看出，本文的算法選擇的σ接近于σadd，即使采用不同的非盲復(fù)原算法，本算法在選擇σ上都較理想。另外，判決得到的最優(yōu)復(fù)原圖像與原始清晰圖像的PSNR和SSIM與非盲復(fù)原算法本身的去卷積效果有關(guān)，如BM3D和Wiener濾波處理高斯模糊效果較好，因此采用這兩種方法作為本算法的非盲復(fù)原算法在客觀指標(biāo)上較正則化濾波法好。通過大量實(shí)驗(yàn)，本算法在選擇σ上的準(zhǔn)確度在80%以上。

表1 三種非盲復(fù)原算法應(yīng)用于本文算法復(fù)原高斯模糊的復(fù)原圖像客觀效果

下面，將本文提出的盲復(fù)原算法與文獻(xiàn)［5］、文獻(xiàn)［12］的運(yùn)動(dòng)模糊盲復(fù)原算法進(jìn)行主觀質(zhì)量比較。本實(shí)驗(yàn)中，文獻(xiàn)［5］和文獻(xiàn)［12］的算法直接使用他們?cè)诰W(wǎng)上提供的可執(zhí)行程序，且均采用默認(rèn)參數(shù)進(jìn)行實(shí)驗(yàn)，同時(shí)采用BM3D作為本文算法的非盲復(fù)原算法。

圖6是對(duì)Lena圖加水平方向的運(yùn)動(dòng)模糊，長(zhǎng)度為9?？梢钥吹剑墨I(xiàn)［12］的復(fù)原圖像有紋影，且模糊仍存在。文獻(xiàn)［5］的復(fù)原圖像存在振鈴現(xiàn)象，特別是圖像的左側(cè)邊緣部分、帽子邊緣、頭發(fā)等處。而本文的算法準(zhǔn)確尋找到了最優(yōu)圖像，圖像的主觀效果較理想。

圖7是對(duì)Barbara圖加垂直方向的運(yùn)動(dòng)模糊，長(zhǎng)度為21?？梢钥吹剑?dāng)模糊較大時(shí)，文獻(xiàn)［12］，文獻(xiàn)［5］的復(fù)原圖像出現(xiàn)塊現(xiàn)象，復(fù)原效果不是很理想，這主要因?yàn)檫@兩種算法是要估計(jì)模糊核的，而模糊核估計(jì)不夠準(zhǔn)確，影響了復(fù)原效果。本文的算法由于是尋找最優(yōu)圖像，避免模糊核估計(jì)，因此采用較好的非盲復(fù)原算法就能得到質(zhì)量較高的復(fù)原圖像。

圖6 Lena圖復(fù)原結(jié)果比較

圖7 Barbara圖復(fù)原結(jié)果比較

3 結(jié)語(yǔ)

提出的盲復(fù)原算法，將模糊核離散化為一系列模糊參數(shù)，避免了由圖像模糊核估計(jì)帶來的負(fù)面影響。同時(shí)，利用圖像的先驗(yàn)知識(shí)和復(fù)原圖像結(jié)構(gòu)特征提出一種復(fù)原圖像的判決準(zhǔn)則，對(duì)得到的一系列復(fù)原圖像進(jìn)行質(zhì)量判決，選擇出最優(yōu)復(fù)原圖像。實(shí)驗(yàn)結(jié)果表明，所提出的基于圖像先驗(yàn)和圖像結(jié)構(gòu)特征的盲復(fù)原算法，能有效的處理常見的圖像模糊問題，對(duì)使用的非盲復(fù)原算法無具體要求，適用廣泛，且復(fù)原圖像在主觀和客觀質(zhì)量上均有良好表現(xiàn)。另外，提出的算法無需迭代，復(fù)雜度不高。但由于受圖像本身內(nèi)容及評(píng)價(jià)準(zhǔn)則的權(quán)重系數(shù)設(shè)定影響，該算法在選擇模糊核參數(shù)的準(zhǔn)確率上還存在一定的問題，因此下面的工作將進(jìn)一步研究復(fù)原圖像的評(píng)價(jià)準(zhǔn)則，以期在準(zhǔn)確率上有改進(jìn)。

［1］RAV-ACHA A，PELEG S.Two Motion Blurred Images are Better than One［J］.Pattern Recognition Letters，2005，26(3):311-317.

［2］YUAN L，SUN J，QUAN L，et al.Image Deblurring with Blurred/Noisy Image Pairs［C］//In SIGGRAPH，2007.

［3］BEN-EZRA M，NAYAR S K.Motion-Based Motion Deblurring［J］.TPAMI，2004，26(6):689-698.

［4］FERGUS R，SINGH B，HERTZMANN A，et al.Removing Camera Shake from a Single Photograph［J］.ACM Trans.Graph.2006，25(3):787-794.

［5］SHAN Q，JIA J，AGARWALA A.High-Quality Motion Deblurring from a Single Image［J/OL］.ACMTrans.Graph，(2008-08-15).http://www.cse.cuhk.edu.hk/～ leojia/projects/motion deblurring/index.html

［6］楊春玲，陳冠豪.基于梯度信息的圖像質(zhì)量評(píng)判方法的研究［J］.電子學(xué)報(bào)，2007，35(7):1313-1317.

［7］FIELD D.What is the Goal of Sensory Coding?［J］.Neural Computation，1994，6(4):559-601.

［8］左博新，明德烈，田金文.盲復(fù)原圖像振鈴效應(yīng)評(píng)價(jià)［J］.中國(guó)圖象圖形學(xué)報(bào) A，2010，15(8):TP753.

［9］WANG Z，BOVIK A C，SHEIKH H R.Image Quality Assessment:from Error Visibility to Structural Similarity［J］.IEEE Transactions on Image Processing，2004，13(4):600-612.

［10］DABOV K，F(xiàn)OI A，EGIAZARIAN K.Image Restoration by Sparse 3D Transform-domain Collaborative Filtering［C］//Proc.SPIE Electronic Imaging，2008.

［11］WIENER N.Extrapolation，Interpolation，and Smoothing of Stationary Time Series［M］.MIT Press，1964.

［12］XU L，JIA J.Two-Phase Kernel Estimation For Robust Motion Deblurring［C］//In European Conference on Computer Vision(ECCV’10)，2010.