一種改進(jìn)的單幅圖像散焦模糊去反射算法

黎秀玉，夏海英，宋樹祥

(廣西師范大學(xué)電子工程學(xué)院，廣西桂林541004)

?

一種改進(jìn)的單幅圖像散焦模糊去反射算法

黎秀玉，夏海英，宋樹祥

(廣西師范大學(xué)電子工程學(xué)院，廣西桂林541004)

單幅圖像去反射是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)非常有意義的課題。針對(duì)單幅圖像散焦模糊去反射算法不能有效地去除某些局部區(qū)域內(nèi)不滿足梯度相對(duì)平滑假設(shè)的反射光問題，本文提出一種改進(jìn)的基于單幅圖像散焦模糊去反射算法，通過引入一種修正機(jī)制，從而克服原算法在處理這些區(qū)域所產(chǎn)生的色彩失真。通過對(duì)自然場(chǎng)景下和人工合成帶有反射光圖像進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明，與單幅圖像散焦模糊去反射算法相比，改進(jìn)后的算法去反射效果更好，增強(qiáng)了原去反射算法的魯棒性。

相對(duì)平滑；去反射；修正機(jī)制；散焦模糊

0 引言

物體的反射是現(xiàn)實(shí)生活中一種常見的現(xiàn)象，由于其反射作用會(huì)導(dǎo)致戶外視頻系統(tǒng)捕獲的圖像顏色和對(duì)比度嚴(yán)重退化，妨礙圖像后續(xù)處理的基本信息提取，極大地限制和影響了戶外視頻系統(tǒng)的功能，例如：視頻監(jiān)控系統(tǒng)、目標(biāo)跟蹤、無人機(jī)偵查、高速公路視覺監(jiān)視系統(tǒng)等，其對(duì)圖像分割、識(shí)別和匹配等也會(huì)產(chǎn)生重要影響。因此，如何降低或去除反射對(duì)圖像的影響成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。

目前，對(duì)于圖像的去反射算法主要分為三大類[1]：第一類是基于極化分析方法去反射；第二類是基于多幅圖像去反射；第三類是基于單幅圖像去反射。Nayar等[2]通過極化過濾器調(diào)出同一場(chǎng)景的最大和最小極化角度，運(yùn)用極化信息和顏色信息來去除圖像中的高光。Sato和Klinker[3]在同一個(gè)移動(dòng)光源的照射下獲得一系列的圖像，通過分析圖像序列的顏色來估計(jì)反射光。Yang等[4]通過在同一光源下不同位置采集相同場(chǎng)景的多幅圖像，并且假設(shè)采集的圖像的光源色度是一致的，以此來估計(jì)光源色度和去除圖像中的高光。這些方法都取得了較好的效果，但是這些算法都需要多幅圖像，在很多的情況下很難獲取同一場(chǎng)景的多幅圖像，極大地限制了它們的應(yīng)用范圍。

為此，研究者們提出了單幅圖像去反射方法，更加符合實(shí)際應(yīng)用。如Levin和Weiss利用梯度信息來檢測(cè)和人工標(biāo)記反射區(qū)域[5]。Jia等[6]利用顏色信息對(duì)高光進(jìn)行檢測(cè)，并采用全變分對(duì)圖像進(jìn)行修補(bǔ)的方法去反射。王祎墦等[7]在亮度空間應(yīng)用顯著性模型來實(shí)現(xiàn)高光區(qū)域的自動(dòng)檢測(cè)和標(biāo)記，綜合利用圖像的鄰域和邊緣信息，對(duì)標(biāo)記的高光區(qū)域進(jìn)行自適應(yīng)修復(fù)，去除圖像中的高光。孫欣欣等[8]提出了最佳分析窗口的概念，在最佳分析窗口的基礎(chǔ)上，分析窗口中像素的亮度、色彩及位置信息組成五維特征向量，從而估計(jì)出全局漫反射色度，并以此檢測(cè)圖像中的高光像素，實(shí)現(xiàn)對(duì)高光的去除。Shen等[9]利用亮度比例和色度空間的聚類方法來實(shí)現(xiàn)去反射。盧桂榮等[10]利用最大漫反射色度存在著局部平滑這一性質(zhì)，使用雙邊濾波器對(duì)色度的最大取值進(jìn)行傳播與擴(kuò)散，從而完成整幅圖像高光去除。馬吉權(quán)等[11]提出了一種利用表面形態(tài)分布信息檢測(cè)圖像高光的方法。但這些算法比較復(fù)雜且計(jì)算量大。

Li提出了一種單幅圖像散焦模糊去反射算法，模型簡(jiǎn)單且計(jì)算量小，對(duì)一般的戶外圖像取得很好的去反射效果[12]。但是在某些局部的區(qū)域沒有滿足梯度相對(duì)平滑的假設(shè)，導(dǎo)致去反射后的圖像里還會(huì)有部分反射光的存在。針對(duì)以上問題，本文通過引入一種修正機(jī)制對(duì)Li的模型進(jìn)行改進(jìn)，實(shí)現(xiàn)對(duì)某些局部區(qū)域不滿足相對(duì)平滑假設(shè)的反射光的去除。

1 單幅圖像散焦模糊去反射算法原理

1.1 基于梯度相對(duì)平滑的單幅圖像分解

首先，一幅圖像描述為以下形式：

I=L1+L2，

(1)

式中I表示觀測(cè)到的圖像，L1和L2是2個(gè)相互聯(lián)系的圖像層。圖像的形成模型將一幅圖像f定義為每個(gè)像素點(diǎn)上的反射分量R與入射分量L的乘積，即：

f=RL。

(2)

由此可知，為了實(shí)現(xiàn)對(duì)單幅圖像進(jìn)行分離就需要能夠正確地估算出反射分量R和入射分量L，對(duì)(2)式兩邊取對(duì)數(shù)：

logf=logR+logL。

(3)

進(jìn)一步將式子簡(jiǎn)化為與式(1)相同的表達(dá)形式：

I=LB+LR。

(4)

式中LR表示反射圖像層，LB表示獲取的清晰圖像層。

根據(jù)相機(jī)成像原理可知，只有那些恰好落在感光器件位置上面的物體才可以清晰地成像，而其他位置上的物體的像都是模糊的。Schechner等人[13]根據(jù)這一原理對(duì)圖像層LB進(jìn)行聚焦獲得清晰圖像，而反射圖像層LR由于散焦作用變模糊。為了便于研究反射光的去除，我們根據(jù)前面描述的理論將一幅清晰不帶反射光圖像LB與一幅進(jìn)行高斯模糊后帶反射光的圖像LR進(jìn)行人工合成一幅圖像，其數(shù)學(xué)表達(dá)式為：I=LB+LR×h，其中h是高斯濾波器[12]。從定義可看出LB是清晰的，而LR是模糊的，也就是說LR圖像層要比LB圖像層平滑。自然圖像與人工合成圖像的不同圖像層的梯度直方圖如圖1和圖2所示，參見文獻(xiàn)[12]。

圖1 自然圖像的分解Fig.1 Decomposition of natural image

從圖1與圖2可以看出，自然圖像和人工合成圖像中梯度值大的比較集中分布在R與LB圖像層里，梯度值小的大部分分布在L和LR×h。

1.2 兩圖層的梯度概率模型

根據(jù)Levin和Weiss提出的梯度稀疏先驗(yàn)[7]，本文利用兩圖像層的梯度信息建立概率模型。假設(shè)L2比較光滑，并且梯度大的像素歸屬于L1圖像層，反之，則歸屬于L2圖像層。L1和L2對(duì)應(yīng)的概率表達(dá)式如式(5)所示：

圖2 人工合成圖像的分解Fig.2 Decomposition of artificially synthesized image

(5)

其中x表示梯度值，z是歸一化因子，σ1和σ2是2個(gè)高斯濾波器的參數(shù)，ε是一個(gè)很小的數(shù)，防止對(duì)P1的概率趨于0。

為了實(shí)現(xiàn)2個(gè)圖像層的分離，需將對(duì)兩者的概率最大化運(yùn)算轉(zhuǎn)化為對(duì)它們?nèi)∝?fù)對(duì)數(shù)的最小值，得到下面的式子：

(6)

式中的C1和C2是一個(gè)常數(shù)。將-logP1(x)簡(jiǎn)化成類似于-logP2(x)的形式為[14]：

假設(shè)2個(gè)圖像層是相互獨(dú)立并且它們的輸出也是相互獨(dú)立時(shí)，采用一階和二階濾波器對(duì)圖像進(jìn)行濾波，則對(duì)-logP(L1，L2)進(jìn)行最小化操作后得到：

(7)

將L2=I-L1代入式(7)，可以得到關(guān)于L1的目標(biāo)函數(shù)：

s.t.lbi≤(L1)i≤ubi。

(8)

其中(L1)i∈[lbi，ubi]是L1圖像層的像素值取值范圍。

(9)

式中β是一個(gè)加權(quán)系數(shù)，隨著β的值越大，式(9)與式(8)等價(jià)，本文中β的取值范圍為β∈(210，220)。式(9)是關(guān)于L1的一元二次方程，對(duì)其進(jìn)行二維快速傅里葉變換(2DFFT)得到L1的最優(yōu)值：

(10)

其中*表示復(fù)數(shù)共軛，分母中τ=10-16是增加算法的魯棒性，F(xiàn)表示傅里葉變換，F(xiàn)-1表示傅里葉的反變換,具體的優(yōu)化過程可參考文獻(xiàn)[12]。

1.3 單幅圖像散焦模糊去反射

基于前面的假設(shè)，對(duì)人工合成的I=LB+LR×h類型的圖像進(jìn)行分解，h是一個(gè)二維高斯函數(shù)的卷積核(其中σ=5)。根據(jù)式(8)可以得到關(guān)于LB的目標(biāo)函數(shù)：

s.t. 0≤(LB)i≤Ii。

(11)

根據(jù)前面描述的優(yōu)化算法可將LB從原圖像分離出來，即可得到一幅清晰無反射光的圖像層，達(dá)到去反射的目的，由(I-LB)可得到反射圖像層LR。

2 算法的改進(jìn)

通過大量實(shí)驗(yàn)可知，在一幅圖像的某些局部區(qū)域中并未滿足LR要比LB光滑這一假設(shè)，導(dǎo)致有少部分的反射光留在了LB圖像層里。這些區(qū)域的色彩就會(huì)背離原圖像，影響圖像的視覺效果。為了解決這一問題，在原算法的基礎(chǔ)上進(jìn)行改進(jìn)，提高算法的魯棒性。假設(shè)一幅圖像為：

I=LR1+LB1，

(12)

式中的LR1、LB1分別是Li算法中已經(jīng)分解出來的2個(gè)圖像層。對(duì)式(12)進(jìn)行修改得：

I=αLR1+βLB2，

(13)

其中的α、β是一個(gè)常數(shù)，LB2是LB1改進(jìn)后的無反射圖像層。將式(13)進(jìn)一步化解為：

(14)

式(14)右邊第一項(xiàng)(I-LR1)代表原算法中的LB1，第二項(xiàng)k(I-ωLR1)表示一個(gè)修正因子，用于對(duì)LB1進(jìn)行改善。

將式(12)代入式(14)，可得如下式子：

LB2=I-LR1+k(LB1+LR1-ωLR1)=I-(1-k)LR1+k(LB1-ωLR1)，

(15)

式中的k、ω均為常數(shù)。當(dāng)k=0時(shí)，LB2=LB1,與原算法一致，當(dāng)k、ω都不為0時(shí)，則k(LB1-ωLR1)是對(duì)原去反射圖像層的一種修正。這種修正體現(xiàn)在兩個(gè)方面：第一，在原算法去反射的過程中，如果反射光沒有完全被包含在反射圖像層LR1中的話，就會(huì)有少部分反射光留在了LB1圖像層里，而這一修正項(xiàng)得到的結(jié)果正好可以消除反射光，獲得一幅近似LB1的較暗圖像；第二，大部分單幅圖像去除反射層后(即LB1)都會(huì)顯得比較暗，影響視覺效果，添增這一修正項(xiàng)可以增強(qiáng)LB1的對(duì)比度。通過對(duì)k、ω取適當(dāng)?shù)闹?，就?huì)使得去反射后的圖像質(zhì)量得到較大的改善。

3 實(shí)驗(yàn)結(jié)果和分析

本次實(shí)驗(yàn)是在一臺(tái)處理器為Intel(R)Core(TM)i5CPU，主頻3.2GHz，內(nèi)存4.0GB，操作系統(tǒng)WindowsXP專業(yè)版32位SP3 的PC機(jī)進(jìn)行圖像處理，使用的軟件是matlab7.0版本。分別采用Li的原算法和本文改進(jìn)算法對(duì)自然圖像和人工合成圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖3、4所示。

圖3 自然圖像去反射效果對(duì)比圖Fig.3 The comparison of reflection removal with natural image

圖3(a)中I是自然場(chǎng)景下的圖像，從圖3的A組圖像(b)和(d)可以看出兩者的效果幾乎無差別。當(dāng)圖像滿足了Li算法的假設(shè)時(shí)，反射光被正確地分解到LR1里，因而2種方法的輸出結(jié)果基本一致。從B組圖像(b)和(d)中采用矩形框標(biāo)記的部分可以看出，改進(jìn)的算法得到的圖像更符合人眼的視覺特性，大大地改善了視覺效果。

圖4 人工合成圖像去反射效果對(duì)比圖Fig.4 The comparison of reflection removal withartificially synthesized image

圖4中兩組圖像I是人工合成的圖像，A組和B組的(b)圖像LB1中用矩形框標(biāo)記的區(qū)域內(nèi)還有部分反射光沒有去除，經(jīng)過改進(jìn)算法的處理后，在(d)圖中兩組圖像相應(yīng)位置的反射光減少了，提高了圖像的質(zhì)量。

本文通過利用均值、平均梯度、標(biāo)準(zhǔn)差和信息熵來對(duì)圖像進(jìn)行客觀評(píng)價(jià)。表1和表2分別表示對(duì)圖3和圖4的各項(xiàng)客觀評(píng)價(jià)指標(biāo)的對(duì)比數(shù)據(jù)。

表1 對(duì)圖3各項(xiàng)客觀評(píng)價(jià)指標(biāo)的對(duì)比

從表1可以看出，對(duì)于圖3中的兩組圖像得到的數(shù)據(jù)來說，本文改進(jìn)算法的均值、平均梯度、標(biāo)準(zhǔn)差和信息熵都高于Li算法得到的指標(biāo)值，除了圖3中B組圖的標(biāo)準(zhǔn)差。這是因?yàn)閳D像注重對(duì)比度提升的同時(shí)，出現(xiàn)了少許顏色的失真。

表2 對(duì)圖4的各項(xiàng)客觀評(píng)價(jià)指標(biāo)對(duì)比

從表2可以看出，對(duì)于圖4中的A組圖得到的數(shù)據(jù)來說，Li算法得到圖像的平均梯度高于本文改進(jìn)的算法，且信息熵也略高于本文改進(jìn)算法，而在均值和標(biāo)準(zhǔn)差都低于本文改進(jìn)的算法。對(duì)于圖4中B組圖得到的數(shù)據(jù)來說，本文改進(jìn)算法的各項(xiàng)客觀評(píng)價(jià)指標(biāo)值都高于Li算法得到的指標(biāo)值。

總之，從4組實(shí)驗(yàn)的結(jié)果可以看出，相較于原算法，改進(jìn)后的算法更能夠有效地去除反射，恢復(fù)出來的圖像視覺效果更佳。

4 結(jié)論

本文對(duì)單幅圖像散焦模糊去反射進(jìn)行理論分析，指出了其不足之處并引入一種修正機(jī)制對(duì)其進(jìn)行改進(jìn)。通過實(shí)驗(yàn)證明，改進(jìn)的算法更有效地去除反射，改善了圖像的視覺效果。不足之處是在對(duì)某些圖像有效地去除反射的同時(shí)也導(dǎo)致圖像顏色失真，未來將進(jìn)一步對(duì)圖像色彩進(jìn)行有效地恢復(fù)。

[1] 張瀟云，鄒北驥，向遙,等. 彩色和等色圖像的非監(jiān)督反射分量分離[J].信號(hào)處理,2014(9):1007-1018.

[2] NAYAR S K，F(xiàn)ANG X S，BOULT T. Removal of specularities using color and polarization[C]// Proceedings of 1993 IEEE Computer Society Conference on. Computer Vision and Pattern Recognition. New York: IEEE,1993:583-590.

[3] SATO Y,IKEUCHI K. Temporal-color space analysis of reflection[J]. Journal of the Optical Society of America A,2001,11(11):2990-3002.

[4] YANG Qingxiong，WANG Shengnan，NARENDRA A,et al. A Uniform framework for estimating illumination chromaticity，correspondence，and specular reflection[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society,2011,20(1):53-63.

[5] LEVIN A，WEISS Y.User assisted separation of reflections from a single image using a sparsity prior using a sparsity prior[J].TPAMI,2007,29(9):1647-1654.

[6] JIA Danbing，LI Naimin，LI Chunjie，et al. Reflection removal of tongue image via total variation-based image inpainting[C]//2010 International Conference on E-Product E-Service and E-Entertainment (ICEEE). Zhengzhou: IEEE，2010:1-4.

[7] 王祎璠，姜志國，史駿,等. 顯著性檢測(cè)指導(dǎo)的高光區(qū)域修復(fù)[J].中國圖像圖形學(xué)報(bào),2014,19(3)393-400.

[8] 孫欣欣，徐舒暢，盧滌非. 基于最佳分析窗口的高光檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì),2007,28(6):1469-1472.

[9] 王湘暉，曾明. 基于視覺感知的圖像增強(qiáng)質(zhì)量客觀評(píng)價(jià)算法[J].光電子：激光,2008,19(2):258-262.

[10] 盧桂榮，湯景凡，姜明. 基于快速雙邊濾波的圖像高光去除研究[J].計(jì)算機(jī)工程與應(yīng)用,2014(10):176-179.

[11] 馬吉權(quán),馬培軍,蘇小紅. 基于表面形態(tài)分布的單幅灰度圖像高光檢測(cè)[J].計(jì)算機(jī)研究與發(fā)展,2011，48(1):169-175.

[12] LI Yu，BROWN M S. Single image layer separation using relative smoothness[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus: IEEE, 2014:2752-2759.

[13] SCHECHNER Y Y，KIRYATI N，BASRI R. Separation of transparent layers using focus[J]. International Journal of Computer Vision,2001,39(1):25-39.

[14] LI Xu，ZHENG Shicheng，JIA Jiaya. Unnatural L0 sparse representation for natural image deblurring [C]// IEEE Conference on Computer Vision & Pattern Recognition. Oregon: IEEE, 2013:1107-1114.

[15] 李志欣，陳宏朝，吳璟莉,等. 基于概率主題建模的圖像語義學(xué)習(xí)與檢索[J]. 廣西師范大學(xué)學(xué)報(bào)(自然科學(xué)版)，2012，30(3):125-134.

(責(zé)任編輯 王龍杰)

An Improved Single Image Reflection Removal with Defocus Blur

LI Xiuyu，XIA Haiying，SONG Shuxiang

(College of Electronic Engineering，Guangxi Normal University，Guilin Guangxi 541004,China)

Reflection removal of single image is a very meaningful issue in the area of computer vision. An improved method is proposed to overcome the weakness that single image reflection removal with defocus blur algorithm can not remove the reflection in the local area where the assumption that two layers have different smoothness is violated.By including correction mechanism and adaptive efforts to reflection，the improved algorithm can effectively eliminate color distortion of the image. With tests of natural scene and artificially synthesized images with reflected light，the results show that，compared with the original method，the improved method more effectively removes reflect light and enhances the robustness.

relative smoothness；reflection removal；correction mechanism；defocus blur

10.16088/j.issn.1001-6600.2016.03.005

2016-02-20

國家星火計(jì)劃重點(diǎn)項(xiàng)目(2015GA790002)

宋樹祥(1970—)，男，湖南雙峰人，廣西師范大學(xué)教授，博士。E-mail: songshuxiang@gxnu.edu.cn

TP391

A

1001-6600(2016)03-0032-07