基于RGB通道下模糊核估計的圖像去模糊

徐弦秋，劉宏清，黎 勇,周 翊

(重慶郵電大學 移動通信技術重慶市市級重點實驗室，重慶 400065)

0 前 言

圖像在獲取的過程中，總是會受外界條件和周圍環(huán)境的影響，導致圖像質(zhì)量受損。因拍攝過程中的相機抖動和對焦不準確而產(chǎn)生的圖像模糊是最常見的一種圖像受損。隨著手持拍攝設備的流行，如何得到一種能夠從捕捉到的圖像中去除圖像模糊的方法已經(jīng)成為研究的關鍵。

根據(jù)受損圖像信息重建清晰圖像的方法已經(jīng)有很多，現(xiàn)存的方法中大致可以分為2類：①利用已知的模糊核函數(shù)去除圖像模糊的非盲去模糊；在模糊過程未知的情況下，估計出模糊核并重建清晰圖像的盲去模糊[1-2]。很顯然，自然圖像在獲取過程中所受到的模糊損壞，其模糊過程和原始清晰圖像信息都是未知的，如何精確地估計出模糊核函數(shù)是需要關注的主要問題。Fergus等[3]以混合高斯模型匹配自然圖像的重尾分布特征作為先驗知識，應用到貝葉斯框架中進行模糊核估計；Shan等[4]提出了一種交替優(yōu)化方法，同時對模糊核和潛在圖像信息進行聯(lián)合估計，但是算法的復雜度相對較高；在大部分現(xiàn)有的方法中，通常都是將自然彩色圖像轉(zhuǎn)化為灰度圖像進行模糊核提取。事實上，數(shù)字照相機獲取的彩色圖像可以看做是3個色彩分量圖的疊加，即紅色、藍色和綠色(red green and blue,RGB)分量，模糊核函數(shù)對每一個色彩分量圖的影響是不同的。忽略不同分量圖中模糊核的差異將會給接下來的圖像恢復過程帶來無法避免的失真影響。

近年來，信號的稀疏表示已經(jīng)成為研究熱點。文獻[5]利用小波框架系統(tǒng)構(gòu)造字典，對圖像信號進行稀疏表示，建立圖像復原模型，從而獲得清晰的復原圖像。但這種由固定變換域解析得到的字典，缺乏自適應性。傳統(tǒng)的基于自適應字典的稀疏表示通常是以圖像塊(patch)為基本單位，這種模型把每一個圖像塊當做獨立的對象處理進行稀疏編碼。實際上，圖像信號在非局部區(qū)域也具有相似性的特點。文獻[6]提出一種圖像非局部中心化稀疏表示模型，充分利用了圖像非局部冗余特性，降低了稀疏編碼過程中的噪聲。但該方法沒有充分結(jié)合圖像局部自適應的特點建立稀疏表示表示模型。文獻[7]提出一種三維塊匹配算法(block matching 3D,BM3D)，利用相似圖像塊匹配得到三維數(shù)組，用聯(lián)合濾波的方法對三維數(shù)組進行處理，逆變換后，把處理后的結(jié)果返回到原圖像中，從而得到去噪后的圖像。該算法在去噪和圖像復原上均取得了較好的效果，但聯(lián)合濾波算法的復雜度有待降低。

針對圖像模糊核只考慮在灰度域進行估計可能存在誤差的情況，本文提出一種在RGB通道中分別估計模糊核函數(shù)的方法，然后針對不同分量圖所得到的模糊核，充分利用自然圖像自身特點，以結(jié)構(gòu)組為基本單位代替單一的圖像塊建立組稀疏表示模型進行圖像復原。首先，我們在多尺度條件下，通過預測圖像顯著邊緣信息，并應用于高斯正則化模型，估計出不同通道中的模糊核函數(shù)；然后，利用得到的模糊核，在不同的色彩通道分量圖中，以歐氏距離查找相似圖像塊構(gòu)造結(jié)構(gòu)組，利用結(jié)構(gòu)組中相似的圖像塊應該具有相同字典的思想，獲得圖像信號的自適應字典，并建立圖像復原模型進行去模糊處理。仿真結(jié)果表明，與只考慮在灰度域中獲取模糊核函數(shù)的情況相比，使用不同通道下的模糊核進行圖像恢復，獲得了更好的效果，且利用組稀疏表示模型進行圖像去模糊相比于傳統(tǒng)的稀疏表示模型去模糊效果更加顯著。

1 RGB通道下的模糊核估計

1.1 模糊圖像模型

圖像模糊過程可以被描述為清晰圖像與點擴散函數(shù)(point-spread-function，PSF)的卷積加上噪聲，即

g=h*f+n

(1)

(1)式中：*代表卷積操作；g，h和f分別是模糊圖像、點擴散函數(shù)(也稱為模糊核函數(shù))和清晰圖像；n是噪聲。圖像去模糊的目標就是從受損圖像g中恢復出清晰圖像f。

g=Hf+n

(2)

(3)

(3)式中，Hr，Hg和Hb分別代表每一個彩色通道內(nèi)的模糊核函數(shù)。通過估計每一個通道內(nèi)不同的模糊核函數(shù)來代替只考慮灰度域情況下的模糊核估計，以實現(xiàn)更好的圖像復原效果。

1.2 RGB通道下的模糊核估計

邊緣信息即使在其他結(jié)構(gòu)被弱化的情況下也能夠被很好地提取出來。因此，我們從觀察到的模糊圖像中盡可能準確地預測圖像的邊緣信息作為先驗知識。一般來說，觀測到的模糊圖像通常伴隨著噪聲，噪聲的存在將影響模糊核的準確估計，給復原的圖像帶來嚴重的振鈴效應。為了減少噪聲的影響，我們采用高斯濾波器進行平滑操作，然后利用沖擊濾波器進行邊緣增強，即

(4)

由于沖擊濾波器在增強邊緣信息的同時也增強了噪聲，尤其對于不顯著的邊緣信息，噪聲的影響將會更加嚴重。而且對于尺寸較大的模糊核函數(shù)來說，選擇多余的邊緣信息反而會影響對模糊核的精確估計。因此，我們只選擇部分顯著的圖像邊緣作為先驗知識。通過把圖像梯度轉(zhuǎn)換到極坐標系內(nèi)，在各個方向分別挑選梯度最大的部分。閾值t由圖像和模糊核的大小決定，即

(5)

(5)式中，Pi和Pk分別代表圖像和模糊核的總像素數(shù)。

類似于公式(1)，清晰圖像與模糊圖像的邊緣信息之間也遵循相同的關系，即

(6)

(7)

(8)

關于模糊核的先驗知識可以用來優(yōu)化模糊核函數(shù)的估計值。一般來說，模糊核函數(shù)值非負且和為1。本文中，我們將剔除一部分負的元素值，只保留模糊核中最重要的部分結(jié)構(gòu)，并對模糊核進行歸一化處理。

(9)

同樣地，我們可以利用FFT變換得到(9)式的封閉解，則清晰圖像的粗略估計值可以寫作

(10)

為了保證模糊核的精確估計，我們在多尺度條件下分RGB通道進行。分別對RGB三幅分量圖建立圖像金字塔，從低分辨率分量圖開始處理，用上述方法進行模糊核估計和粗略估計得到的清晰圖像，然后利用重建圖像作為新一層的高分辨率圖像的初始圖像，直到恢復出精確的模糊核。圖1給出了在RGB通道中分別估計得到的模糊核，圖1中的右下角的小圖描繪的為模糊核的形狀信息。由圖1可以看出，雖然模糊核輪廓大致相同，但是無論是形狀還是值的分布上，都是存在差異的。忽略這種差異將導致接下來的圖像復原存在誤差。

圖1 RGB通道中分別估計得到的模糊核函數(shù)Fig.1 Estimated blur kernels from RGB channels

2 RGB通道下基于組稀疏的圖像去模糊

在獲得RGB通道的模糊核后，圖像去模糊問題可以轉(zhuǎn)化為解反卷積問題。如何充分對圖像信號進行稀疏表示，建立完美的圖像復原模型，成為求解的關鍵所在。

2.1 構(gòu)造組稀疏模型

用RGi(·)表示從圖像x中獲得結(jié)構(gòu)組xGi，結(jié)構(gòu)組的匹配過程可以表示為

xGi=RGi(x)

(11)

對于每一個結(jié)構(gòu)組xGi，我們希望通過自適應學習得到一個字典DGi，可以利用字典中的幾個原子精確表示出結(jié)構(gòu)組，即

(12)

(13)

類似于文獻[8]中字典學習的方法，我們用真實圖像的估計值Z代替真實圖像構(gòu)造結(jié)構(gòu)組，估計值可以通過優(yōu)化求解獲得。每一個結(jié)構(gòu)ZGi組的字典可以通過奇異值分解(singular value decomposition,SVD)得到

(14)

(14)式中：SGi=diag(δGi)為對角陣；uGi×k和vGi×k分別表示UGi和VGi的列向量。定義字典中的原子dGi×k∈RB×c為

(15)

結(jié)構(gòu)組的字典DGi∈R(B×c)×m最終可以表示為

DGi=[dGi×1,dGi×2,…,dGi×m]

(16)

2.2 RGB通道下的圖像去模糊

建立字典后，利用我們估計得到的RGB通道中的模糊核，可以得到基于組稀疏下的圖像復原優(yōu)化模型，即

(17)

我們采用分裂伯格曼迭代算法[9](split bregman iteration,SBI)進行(17)式的優(yōu)化求解。SBI算法通常用來解決優(yōu)化問題，即

(18)

(18)式中：G∈RM×N；f:RN→R；g:RM→R均為凸函數(shù)。根據(jù)SBI算法，(18)式可以看作是2個子問題的求解。通過引入變量u，優(yōu)化問題轉(zhuǎn)化為

s.t.u=DG°αG

(19)

(20)

2.2.1u子問題求解

在給定αG時u子問題可以看做一個嚴格的二次凸優(yōu)化問題，即

(21)

可以直接求得u的封閉解，即

(22)

2.2.2αG子問題求解

給定u，令z=u-b，則αG子問題可以轉(zhuǎn)化為

(23)

z實際上可以看做是輸入的真實圖像，我們通過迭代z(t)=u(t)-b(t-1)可以得到z(t)。實驗結(jié)果表明，在第t次迭代時，以下等式可以成立，即

(24)

代入到(23)式，有

已知xGi=DGiαGi,zGi=DGiδGi，根據(jù)字典的酉特性，可以得到

(25)

上述求解過程可以看做是求解每一個結(jié)構(gòu)組的子問題，等價于

(26)

可以獲得(23)式的封閉解，即

(27)

3 仿真結(jié)果與分析

本文仿真實驗中，進行模糊核估計時，模糊核尺寸根據(jù)所添加模糊類型確定，規(guī)則化參數(shù)分別為γ=10,γ1=2e-3。組稀疏模型中，每一個結(jié)構(gòu)組大小為64×60,分割的圖像塊之間重疊4個像素，所以有I=240N，搜索窗口大小為40×40。實驗共對4幅彩色圖片進行仿真如圖2所示。仿真圖片使用高斯模糊和運動模糊2種模糊核類型，λ,μ的取值由模糊核類型確定。

圖2 仿真自然彩色圖片F(xiàn)ig.2 True color image for simulations

本文采用主觀視覺比較和峰值信噪比(peak signal to noise ratio,PSNR)作為評價圖像恢復質(zhì)量的指標。峰值信噪比定義為

(28)

通過比較使用RGB通道中分別獲得的模糊核與只考慮灰度域獲得的模糊核進行圖像去模糊的效果，并且將本文的方法與利用非局部冗余特性的NCSR(nonlocally centralized sparse representation)方法[6]以及三維塊匹配的BM3D方法[7]作對比。

由于主觀視覺上不如客觀數(shù)據(jù)能更直觀的反映復原效果。因此，本文把仿真圖片P3和P4的恢復效果圖做為舉例說明，所有仿真圖片復原處理的PSNR具體數(shù)據(jù)在表1中詳細列出。

圖2和圖3分別給出了圖片P3在σ=3的高斯模糊下的恢復效果，以及圖片P4在線性運動模糊下的恢復效果,具體的PSNR值在表1中詳細給出?？梢钥闯?，與BM3D和NCSR相比，本文方法獲得的復原圖像效果較好，且相對于只考慮利用灰度域獲得模糊核的情況，利用RGB通道中得到的模糊核進行圖像去模糊處理，獲得的圖像更加清晰。

圖3 彩色圖像P3去模糊的視覺效果比較Fig.3 Visual quality comparisons of image deblurring on color image P3

圖4 彩色圖像P4去模糊的視覺效果比較Fig.4 Visual quality comparisons of image deblurring on color image P4

表1給出了4幅仿真圖片在2種不同模糊情況下，本文方法中利用灰度域和RGB通道下分別估計的模糊核所得到復原圖像PSNR值，以及BM3D[6]和NCSR[7]2種方法得到的復原圖像的PSNR值。效果顯著的方法的數(shù)值在表1中用黑色字體標出。比較數(shù)據(jù)發(fā)現(xiàn)，在高斯模糊下圖片P1和P3的復原結(jié)果中，與BM3D相比，PSNR值分別提高了0.63 dB和1.44 dB；在線性運動模糊下圖片P2和P4的復原結(jié)果中，利用RGB通道中獲得的模糊核進行圖像復原的PSNR相比于只考慮灰度域模糊核的圖像復原的PSNR值分別提高了0.14 dB和0.78 dB。

表1 2種典型模糊類型下圖像復原的PSNR值比較

4 結(jié)論

本文在RGB通道中分別進行模糊核函數(shù)的估計，針對不同通道所得到的模糊核，充分利用圖像信息的局部平滑和非局部自相似的特點，以結(jié)構(gòu)組為基本單位代替單一的圖像塊建立組稀疏表示模型進行圖像復原。仿真結(jié)果表明，本文方法在處理圖像細節(jié)及PSNR上優(yōu)于現(xiàn)有方法，且與目前只考慮利用灰度域估計模糊核進行圖像復原的方法相比，獲得了更加清晰的圖像效果。

參考文獻：

[1] YANG Haoliang, HUANG Pohao, LAI Shanghong. A novel gradient attenuation Richardson-Lucy algorithm for image motion deblurring[J]. Signal Processing, 2014(103):399-414.

[2] 李鑫楠.圖像盲復原算法研究[D].吉林：吉林大學,2015.

LI Xinnan. The study on blind image restoration algorithms[D]. Jilin: Jilin University , 2015.

[3] FERGUS R, SINGH B, Hertzmann A, et al. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics, 2006, 25(25):787-794.

[4] SHAN Q, JIA J, AGARWALA A. High-quality motion deblurring from a single image[J]. ACM Transactions on Graphics, 2008, 27(3):15-19.

[5] JI H, WANG K. Robust image deblurring with an inaccurate blur kernel[J]. IEEE Transactions on Image Processing, 2012, 21(4):1624-34.

[6] MAIRAL J,BACH F,PONCE J,et al.Non-local sparse models for image restoration[J].2009,30(2):2272-2279.

[7] DANIELYAN A,KATKOVNIK V,EGIAZARIANK.BM3D frames and variational image deblurring[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society, 2011, 21(4):1715-1728.

[8] GOLDSTEIN T, OSHER S. The Split Bregman Method for L1-Regularized Problems[J]. Siam Journal on Imaging Sciences, 2009, 2(2):323-343.

[9] ZHANG L, DONG W, ZHANG D, et al. Two-stage image denoising by principal component analysis with local pixel grouping[J].Pattern Recognition,2010,43(4):1531-1549.