基于結(jié)構(gòu)相似性感知的引導(dǎo)圖像濾波

韓 博 孫忠貴

(聊城大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，山東 聊城 252059)

0 引言

信息社會(huì)，數(shù)字圖像的應(yīng)用已滲透到交通運(yùn)輸，城市安防，醫(yī)療診斷，工業(yè)檢測(cè)，航空航天，氣象預(yù)測(cè)等人類生產(chǎn)生活的各個(gè)領(lǐng)域.然而，由于成像設(shè)備，環(huán)境和傳輸條件的限制，現(xiàn)有圖像獲取過程難免會(huì)受到噪聲，光照，天氣，遮擋等因素的影響，從而造成成像質(zhì)量下降，并給后續(xù)圖像分析，檢測(cè)，識(shí)別等任務(wù)帶來較大困難和挑戰(zhàn).圖像濾波則是改善數(shù)字圖像質(zhì)量的一種重要技術(shù)手段.給定一幅待處理的目標(biāo)圖像，根據(jù)濾波過程中有無引導(dǎo)圖像的參與，可以將現(xiàn)有濾波算法大致分成兩類，即自引導(dǎo)濾波與(他)引導(dǎo)濾波.

所謂自引導(dǎo)濾波，即在對(duì)目標(biāo)圖像進(jìn)行處理的過程中僅依賴其自身結(jié)構(gòu)信息的一類方法.比較有代表性算法包括雙邊濾波(Bilateral filtering，BF)[1]，非局部均值(Non-local means，NLM)[2]濾波，區(qū)域協(xié)方差(Region covariance，RC)濾波[3]，如全變分(Total variation，TV)[4]，加權(quán)最小二乘(Weighted least square，WLS)[5]，L0范數(shù)梯度最小化(L0 gradient minimization，L0GM)[6]，相對(duì)全變分(Relative total variation，RTV)[7]等.其中，BF，NLM，RC通過加權(quán)均值的方式完成對(duì)目標(biāo)圖像的處理; TV，WLS，L0GM，RTV分別通過優(yōu)化采用1范數(shù)，2范數(shù)，0范數(shù)和加權(quán)1范數(shù)對(duì)濾波輸出的梯度進(jìn)行約束的目標(biāo)函數(shù)完成處理過程.盡管這些方法在圖像去噪[1,2,4]，去紋理[5-7]，細(xì)節(jié)增強(qiáng)[5,6]等任務(wù)中有著廣泛的應(yīng)用，然而，它們通常也存在著對(duì)噪聲不夠魯棒，濾波輸出過光滑，不易加速等缺陷[8].此外，在現(xiàn)實(shí)生活中，受諸多因素的干擾，目標(biāo)圖像自身往往不能提供準(zhǔn)確可靠的結(jié)構(gòu)信息.這無疑給上述自引導(dǎo)濾波方法的應(yīng)用帶來了較大限制.自然地，借助一幅相對(duì)可靠的引導(dǎo)圖像的結(jié)構(gòu)信息指導(dǎo)對(duì)目標(biāo)圖像進(jìn)行處理的方法，即引導(dǎo)濾波(或稱聯(lián)合濾波)引起了研究者的廣泛關(guān)注.

在引導(dǎo)濾波方法中，一個(gè)代表性算法為Petschnigg等人提出的聯(lián)合雙邊濾波(Joint bilateral filtering，JBF)[9]和He等人提出的引導(dǎo)圖像濾波(Guided image filtering，GIF)[10].從某種意義上說，JBF是對(duì)BF的直接推廣，它將BF從目標(biāo)圖像自身獲取權(quán)重的方式轉(zhuǎn)向從引導(dǎo)圖像獲取.這一思想首先在閃光燈-非閃光燈圖像去噪[9]任務(wù)中獲得了巨大成功，隨后被廣泛應(yīng)用于彩色-近紅外圖像增強(qiáng)[11]，彩色-深度圖像超分辨[12]等任務(wù).然而，由于其非線性性，JBF不僅具有較高的計(jì)算復(fù)雜度，也容易導(dǎo)致濾波輸出邊緣處產(chǎn)生亮暗交替現(xiàn)象，即梯度反轉(zhuǎn)(Gradient reversal)[5,10].與此相反，GIF假定濾波輸出與引導(dǎo)圖像成局部線性關(guān)系，確保了圖像濾波前后梯度方向的一致性，克服了JBF面臨的梯度反轉(zhuǎn).此外，GIF的計(jì)算復(fù)雜度與濾波窗口半徑無關(guān)，這也使它成為了當(dāng)前最為高效的圖像濾波算法之一.最近，Li等人提出的加權(quán)引導(dǎo)圖像濾波(Weighted guided image filtering，WGIF)[13]對(duì)GIF進(jìn)行了改進(jìn).具體來說，通過引入邊緣感知權(quán)重，WGIF能夠?qū)IF中的正則化參數(shù)進(jìn)行自適應(yīng)調(diào)整，在抑制光暈的同時(shí)實(shí)現(xiàn)銳化邊緣的更好保護(hù).

需要指出的是，上述引導(dǎo)濾波算法均假設(shè)引導(dǎo)圖像與目標(biāo)圖像的結(jié)構(gòu)一致.然而，這一假設(shè)在實(shí)際應(yīng)用中并不總是成立，尤其當(dāng)這兩幅圖像是由不同傳感器或在不同條件下獲得時(shí).一旦引導(dǎo)圖像包含了未出現(xiàn)在目標(biāo)圖像中的結(jié)構(gòu)，這些結(jié)構(gòu)極易被錯(cuò)誤傳遞到濾波輸出，從而導(dǎo)致紋理復(fù)制(Texture copy)的缺陷[14,15]，并不可避免會(huì)對(duì)后續(xù)的圖像處理任務(wù)造成干擾.

為解決這一問題，本文首先提出了結(jié)構(gòu)相似性感知(Structure similarity aware，SSA)，以準(zhǔn)確刻畫引導(dǎo)圖像與目標(biāo)圖像結(jié)構(gòu)差異，繼而提出一種改進(jìn)的引導(dǎo)濾波方法，即基于結(jié)構(gòu)相似性感知的引導(dǎo)圖像濾波(Guided image filtering based on structure similarity aware，SSA-GIF).為驗(yàn)證所提方法的有效性，本文在彩色-深度圖像數(shù)據(jù)集[16]進(jìn)行了一系列實(shí)驗(yàn).結(jié)果表明，相對(duì)現(xiàn)有算法，SSA-GIF有效避免了濾波輸出中的紋理復(fù)制缺陷.

1 聯(lián)合雙邊濾波與引導(dǎo)圖像濾波

1.1 聯(lián)合雙邊濾波(Joint bilateral filtering，JBF)

給定一對(duì)配準(zhǔn)后的圖像，包含待處理的目標(biāo)圖像I和引導(dǎo)圖像G，對(duì)其中任意像素i，JBF[9]與BF[1]一樣將其濾波輸出表示為以i為中心，半徑為r的局部窗口ωi內(nèi)像素灰度值的加權(quán)平均，即

(1)

其中Ki=∑j∈ωiSijRij為歸一化常數(shù);Sij和Rij分別度量像素i和j之間的空間相似性和灰度相似性，通常被稱為空間核和值域核，數(shù)學(xué)表達(dá)如

(2)

這里xi和xj分別為像素i和j的空間坐標(biāo)，Gi，Gj為引導(dǎo)圖像G在像素i和j的灰度值;σs和σr為兩個(gè)可調(diào)整的平滑參數(shù).

1.2 引導(dǎo)圖像濾波(Guided image filtering，GIF)

不同于JBF[9]的非線性模型，GIF[10]假定目標(biāo)圖像I的濾波輸出q與引導(dǎo)圖像G在局部窗口中成局部線性關(guān)系，即

qi=akGi+bk,?i∈ωk，

(3)

其中ak，bk為線性系數(shù)，在濾波窗口ωk中為常數(shù)，通過最小化如下目標(biāo)函數(shù)求解

(4)

這里ε是正則化參數(shù)，用于對(duì)較大的ak施加懲罰.令上述目標(biāo)函數(shù)對(duì)ak，bk的偏導(dǎo)數(shù)為零，可得

(5)

(6)

(7)

(8)

(9)

其中|ω|為ωk中的像素個(gè)數(shù).

需指出，由于濾波窗口重疊，即像素i通常被包含在多個(gè)窗口中.故，通過公式(3)將得到多個(gè)濾波輸出.為解決這一問題，GIF將i所有可能的濾波輸出的平均值作為其最終濾波輸出，即

(10)

根據(jù)窗口的對(duì)稱性[10]，公式(10)可以重寫為

(11)

(12)

2 基于結(jié)構(gòu)相似性感知的引導(dǎo)圖像濾波

在現(xiàn)實(shí)生活中，引導(dǎo)圖像G和目標(biāo)圖像I通常是由不同成像設(shè)備或傳感器在不同成像條件下獲得，因此，這兩幅圖像通常存在著較大的結(jié)構(gòu)差異，如圖1所示的彩色圖像(a)比其深度圖像(b)包含更豐富的紋理信息.由于忽略了兩圖像的間結(jié)構(gòu)差異，JBF[9]和GIF[10]直接采用彩色圖像的結(jié)構(gòu)指導(dǎo)對(duì)深度圖像進(jìn)行濾波的過程，使得原本未出現(xiàn)在深度圖像的結(jié)構(gòu)出現(xiàn)在了其濾波輸出中，即紋理復(fù)制現(xiàn)象，如(g),(h)中黑色矩形區(qū)域所示.本文旨在克服JBF與GIF的這一缺陷.為此，首先提出了一種能夠更加精確度量引導(dǎo)圖像與目標(biāo)圖像的結(jié)構(gòu)差異的指標(biāo).

2.1 結(jié)構(gòu)相似性感知

給定一半徑為r中心像素為k的局部濾波窗口ωk，現(xiàn)存常用度量引導(dǎo)圖像G和目標(biāo)圖像I在ωk的結(jié)構(gòu)關(guān)系的指標(biāo)為歸一化交叉相關(guān)(Normalized cross correlation，NCC)[17]，即

(13)

(14)

2.2 目標(biāo)函數(shù)

與JBF和GIF不同，本文遵循不完全依賴引導(dǎo)圖像結(jié)構(gòu)的準(zhǔn)則，在結(jié)構(gòu)相似性感知λ的幫助下，假設(shè)引導(dǎo)圖像G，待濾波的目標(biāo)圖像I及其濾波輸出q成如下線性關(guān)系

qi=ak(λkGi+(1-λk)Ii)+bk,?i∈ωk,

(15)

其中ak，bk為ωk中的線性系數(shù).相應(yīng)地，為最小化如下目標(biāo)函數(shù)

(16)

并分別對(duì)ak，bk求導(dǎo)并令其導(dǎo)數(shù)為零可得

(17)

(18)

類似于GIF，為解決窗口重疊，最終濾波輸出qi有如下形式

(19)

(20)

為方便起見，本文將這種改進(jìn)后的方法稱之為基于結(jié)構(gòu)相似性感知的引導(dǎo)圖像濾波(Guided image filtering based on structure similarity aware，SSA-GIF).事實(shí)上，若G和I在ωk中的結(jié)構(gòu)不一致，即λk=0，由公式(15)(17)(18)可得

(21)

它們均與引導(dǎo)圖像G無關(guān),此即SSA-GIF對(duì)目標(biāo)圖像I執(zhí)行自引導(dǎo)濾波過程; 若其結(jié)構(gòu)一致，即λk=1，則

(22)

這時(shí)SSA-GIF對(duì)I執(zhí)行傳統(tǒng)引導(dǎo)濾波過程.因此，SSA-GIF能夠自適應(yīng)選擇引導(dǎo)圖像中與目標(biāo)圖像相一致結(jié)構(gòu)用于對(duì)其濾波過程的指導(dǎo)，從而在去除圖像噪聲，恢復(fù)圖像邊緣的過程中避免JBF和GIF面臨的紋理復(fù)制，如圖1(i)所示.

算法1基于結(jié)構(gòu)相似性感知的引導(dǎo)圖像濾波

算法1給出了本文所提改進(jìn)算法SSA-GIF實(shí)現(xiàn)的偽代碼.由于該過程中的每一步計(jì)算均可通過具有O(N)復(fù)雜度的盒子濾波(Box filtering)[10]快速實(shí)現(xiàn)，因此，SSA-GIF與GIF一樣，計(jì)算復(fù)雜度仍為O(N).在運(yùn)行時(shí)間方面，對(duì)一幅大小為370×463的圖像，JBF，GIF和SSA-GIF完成其處理過程分別約需1.78秒，0.06 s和0.15 s.可見,SAA-GIF是一個(gè)十分高效的改進(jìn)方法，有利于實(shí)際推廣應(yīng)用.

3 實(shí)驗(yàn)

2.1中圖1呈現(xiàn)的濾波輸出及相應(yīng)放大結(jié)果已初步表明所提算法SSA-GIF能夠有效避免紋理復(fù)制.為進(jìn)一步對(duì)其有效性進(jìn)行驗(yàn)證，本文在彩色-深度圖像數(shù)據(jù)集[16]進(jìn)行了一系列實(shí)驗(yàn)(其中深度圖像含有均值為零方差為10的高斯白噪聲)，并將其與JBF[9]，GIF[10]和近年提出的WGIF[13]的濾波輸出進(jìn)行比較.為保證實(shí)驗(yàn)的公平，分別從主觀視覺效果與客觀峰值信噪比(Peak Signal to Noise Ration，PSNR)兩方面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià).所有算法均在MATLAB R2017a中實(shí)現(xiàn)，并在一臺(tái)配置為Intel(R) Core(TM) i5-7200U CPU @2.50GHz 2.70 GHz，內(nèi)存為8GB的PC中執(zhí)行，且各算法中的參數(shù)均調(diào)到最優(yōu)水平，如表1所示.此外，在實(shí)驗(yàn)過程中，多通道圖像被分開處理，且每個(gè)通道中的像素灰度被歸整為[0,1]的范圍內(nèi).

表1 不同引導(dǎo)濾波方法中的參數(shù)設(shè)置

如圖2，圖3(d),(e),(f) 中的黑色矩形框區(qū)域所示，由于忽略了圖像間的結(jié)構(gòu)差異，JBF，GIF和WGIF將彩色圖像中未出現(xiàn)在深度圖像中的結(jié)構(gòu)傳遞到了濾波輸出中，使其存在著紋理復(fù)制.與此相反，如圖2，圖3(g)所示，本文所提算法SSA-GIF在結(jié)構(gòu)相似性感知的幫助下能夠自適應(yīng)篩選與深度圖像相一致的彩色圖像結(jié)構(gòu)對(duì)其進(jìn)行指導(dǎo)，從而避免了紋理復(fù)制.此外，濾波輸出的PSNR指標(biāo)也表明SSA-GIF在比較算法中取得了最好的去噪效果.

4 結(jié)論

為克服聯(lián)合雙邊濾波，引導(dǎo)圖像濾波等現(xiàn)有引導(dǎo)濾波方法所面臨的紋理復(fù)制缺陷，本文通過充分考慮兩圖像結(jié)構(gòu)差異，提出了一個(gè)新的濾波方法，即基于結(jié)構(gòu)相似性感知的引導(dǎo)圖像濾波.相比現(xiàn)有算法，本文所設(shè)計(jì)的濾波器能夠根據(jù)圖像間的結(jié)構(gòu)相似性，自適應(yīng)地選擇引導(dǎo)圖像中的結(jié)構(gòu)信息進(jìn)行引導(dǎo)濾波，從而有效避免了現(xiàn)有引導(dǎo)濾波器中的紋理復(fù)制缺陷.