一種基于聯(lián)合雙邊濾波的全景圖像預(yù)處理方法

彭勇勝 馬晨翔 白澔樂 李春英

摘要：提出了一種基于聯(lián)合雙邊濾波的全景圖像預(yù)處理方法。相比較中值濾波和高斯濾波而言，聯(lián)合雙邊濾波既平滑了圖像，又保持了邊緣信息。通過模擬實(shí)驗(yàn)取得了較好的效果，同時(shí)表明了結(jié)合采樣技術(shù)和聯(lián)合雙邊濾波進(jìn)行計(jì)算優(yōu)化的思路是可行的。

關(guān)鍵詞：全景圖像；聯(lián)合雙邊濾波；圖像平滑；預(yù)處理

0引言

三維全景是一種基于圖像的虛擬現(xiàn)實(shí)技術(shù)，它用拍攝到的真實(shí)照片經(jīng)加工處理讓用戶產(chǎn)生三維真實(shí)的感覺，目前廣泛應(yīng)用于數(shù)字三維校園、醫(yī)療、航空、房地產(chǎn)、旅游等領(lǐng)域。由于圖像在拍攝過程中受到成像設(shè)備和周圍環(huán)境的影響，會(huì)使拍攝到的圖像中含有噪聲，例如圖像在數(shù)字化過程中的量化噪聲等。為了使圖像更逼真，需要對(duì)圖像進(jìn)行去噪。常用的中值濾波能夠很好地去除二值噪聲同時(shí)保持圖像的邊緣，但對(duì)高斯噪聲卻無能為力。高斯濾波對(duì)高斯噪聲非常有效，但會(huì)使圖像邊緣模糊掉。雙邊濾波器在進(jìn)行圖像平滑時(shí)，不僅考慮像素點(diǎn)在空間上的相鄰性，還考慮到臨近像素點(diǎn)的強(qiáng)度值差異，這使得雙邊濾波器能夠在有效的進(jìn)行圖像平滑、去除噪聲的同時(shí)，還能保證邊緣的銳利程度，從而保留了更多圖像細(xì)節(jié)信息。進(jìn)一步，為了適用于輸入圖像無法提供準(zhǔn)確邊緣信息的情況和提高一些耗時(shí)算法的速度，本文采用聯(lián)合雙邊濾波技術(shù)。

1預(yù)處理方法

通常全景圖像生成需要四個(gè)步驟：圖像預(yù)處理、圖像匹配、坐標(biāo)轉(zhuǎn)換和圖像融合；前期預(yù)處理關(guān)系到后期圖像匹配和融合的質(zhì)量[1]。本文圖像預(yù)處理主要進(jìn)行圖像平滑。

1.1雙邊濾波器

雙邊濾波器是使圖像平滑的非線性濾波器，由C.Tomasi和R.Manduchi在1998年提出[2]。雙邊濾波由兩項(xiàng)計(jì)算因子組成，其中一項(xiàng)是基于空間幾何分布的因子，距離計(jì)算點(diǎn)越近的點(diǎn)，獲得的權(quán)重越大，距離較遠(yuǎn)的像素值對(duì)待求點(diǎn)的影響較小，保證了圖像像素點(diǎn)在合適的范圍內(nèi)進(jìn)行模糊運(yùn)算；另一項(xiàng)是基于值域差值的因子，像素點(diǎn)差值越小的點(diǎn)，與待求點(diǎn)的相似度較大，因而獲得的權(quán)重較高，差值較大的點(diǎn)，與待求點(diǎn)的差異性較大，賦予它的權(quán)重較小[3][4]。

圖像濾波可用式（1）表示：

g（i，j）=∑klf（k，l）w（i，j，k，l）∑k，lw（i，j，k，l）（1）

其中g(shù)（i，j）表示輸出圖像，f（k，l）表示輸入圖像，w（i，j，k，l）表示權(quán)重因子。

空間域核d（i，j，k，l），如式（2）所示：

d（i，j，k，l）=exp（-（i-k）2+（j-l）22σ2d）（2）

值域核r（i，j，k，l），如式（3）所示：

r（i，j，k，l）=exp（-‖f（i，j）-f（k，l）‖22σ2r）（3）

權(quán)重因子w由空間域核d 和值域核r共同組成，如式（4）所示：

w（i，j，k，l）=exp（-（i-k）2+（j-l）22σ2d

-‖（f（i，j）-f（k，l））‖22σ2r）（4）

其中σd，σr和都是高斯函數(shù)標(biāo)準(zhǔn)差。

當(dāng)待求點(diǎn)處于景物邊緣時(shí)，同一側(cè)邊緣的點(diǎn)與待求點(diǎn)強(qiáng)度值較為接近，賦予其的權(quán)重較大，而對(duì)于邊緣另一側(cè)的點(diǎn)，其強(qiáng)度值與待求點(diǎn)相差較大，賦予的權(quán)重值較小，因此處理結(jié)果中邊緣信息得以保留，不會(huì)因?yàn)檫吘墐蓚?cè)的像素點(diǎn)的相互干擾而導(dǎo)致邊緣模糊。

1.2聯(lián)合雙邊濾波器

在雙邊濾波器的理論基礎(chǔ)上，Petschnigg和G.Agrawala等人提出了聯(lián)合雙邊濾波（Joint Bilateral Filter）理論

[5]。與雙邊濾波不同的是，聯(lián)合雙邊濾波器的參考圖像不是基于原始輸入圖像而是基于導(dǎo)向圖像進(jìn)行計(jì)算的[6]。這種方法適用于輸入圖像無法提供準(zhǔn)確邊緣信息的情況，例如閃光、無閃光去噪、圖像上采樣、圖像去卷積等。

設(shè)導(dǎo)向圖像為d（i，j），則值域核r將重寫為：

r（i，j，k，l）=exp（-‖d（i，j）-d（k，l）‖22σ2r）（5）

相應(yīng)的權(quán)重因子w為：

w（i，j，k，l）=exp（-（i-k）2+（j-l）22σ2d

-‖d（i，j）-d（k，l）‖22σ2r）

（6）

1.3計(jì)算優(yōu)化

上述濾波器的核函數(shù)直接使用了高斯函數(shù)，如果有大小是M×N的圖像，濾波器半徑為r的話，其算法復(fù)雜度為

O（（M×N×r）2），當(dāng)圖像尺寸和濾波窗口很大時(shí)其計(jì)算時(shí)間是不能接受的[7]。以索尼A7R微單為例，一張拼接前的全景素材從相機(jī)里面取出時(shí)的RAW格式有三十兆左右，壓縮成JPG格式后也有七八兆大小，因此本文嘗試?yán)寐?lián)合雙邊濾波結(jié)合下采樣技術(shù)提高處理速度。具體步驟如下：

（1） 對(duì)原圖像I進(jìn)行s倍下采樣，得到圖像Is；

（2） 對(duì)圖像圖像Is進(jìn)行中值濾波，得到圖像Il；

（3） 將圖像Il按照鄰近插值方式放大到原圖像尺寸，得到圖像Ii；

（4） 將Ii和I進(jìn)行聯(lián)合雙邊濾波處理，得到預(yù)處理圖像Io。

2實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)用matlab工具對(duì)一張人物圖片進(jìn)行預(yù)處理模擬。實(shí)驗(yàn)環(huán)境為：Thinkpade531，Intel（R）Core（TM）i5-3230M CPU@2.60GHz，RAM 8G，MatlabR2014a。以下是中值濾波、高斯濾波、雙邊濾波和聯(lián)合雙邊濾波結(jié)果。

從實(shí)驗(yàn)結(jié)果可以看出，相比較中值和高斯濾波而言，雙邊和聯(lián)合雙邊濾波既平滑了圖像，又保持了邊緣信息，取得了不錯(cuò)的

效果，但是使用的時(shí)間卻遠(yuǎn)高于前者。圖（f）使用了s=4的下采

樣，中值濾波后線性插值為原圖尺寸，再與原圖像進(jìn)行雙邊聯(lián)合

濾波，耗時(shí)最長。上述實(shí)驗(yàn)結(jié)果表明，如果對(duì)于大尺寸圖像，下采樣后做非常耗時(shí)的算法處理，本文提出的優(yōu)化方法是可行的。

3結(jié)束語

本文提出了使用聯(lián)合雙邊濾波技術(shù)對(duì)全景圖像進(jìn)行預(yù)處理

的方法，通過模擬實(shí)驗(yàn)取得了較好的效果。我們嘗試結(jié)合采樣技術(shù)和聯(lián)合雙邊濾波進(jìn)行計(jì)算的優(yōu)化，實(shí)驗(yàn)結(jié)果雖不理想但卻表明了我們思路是可行的，這也將成為我們接下來的研究方向。

[參考文獻(xiàn)]

[1]趙新躍. 快速拼接算法在智能手機(jī)全景圖的應(yīng)用研究[D].天津：河北工業(yè)大學(xué)，2013：16-17

[2]Tomasi C，Manduchi R.Bilateral filtering for gray and color images[C].Computer Vision，1998.Sixth International Conference on.IEEE，1 998：839-846.

[3]Weiss B，F(xiàn)ast median and bilateral fltering.ACM Transactions on Graphics（TOG），ACM，vol 25，PP，519—526.

[4]Yang Q，Tan K，Ahuja N.Real-time o（1）bilateral fltering.CVPR 2009，IEEE，PP.557·564.

[5]Petschnigg G，Szeliski R，Agrawala M，et a1.Digital photography with flash and no-flashimage pairs[C]，ACM transactions on graphics（TOG）.ACM，2004，23（3）：664-672.

[6]Kopf J，Cohen M，Lischinski D，Uyttendaele M，Joint bilateral upsampling.ACM Transactions on Graphics.

[7]李知菲，陳源.基于聯(lián)合雙邊濾波器的Kinect深度圖像濾波算法[J].計(jì)算機(jī)應(yīng)用，2014，34（8）：2231-2234，2242

項(xiàng)目名稱：2016年國家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（201610616045）

（作者單位：1 成都理工大學(xué)信息科學(xué)與技術(shù)學(xué)院，四川 成都 610059；2 成都理工大學(xué)核技術(shù)與自動(dòng)化工程學(xué)院，四川

成都 610059）