基于自適應(yīng)引導(dǎo)濾波的全景圖像增強算法研究

譚云蘭，湯鵬杰，夏潔武

?

基于自適應(yīng)引導(dǎo)濾波的全景圖像增強算法研究

譚云蘭1，湯鵬杰2，夏潔武1

(1.井岡山大學(xué)電子與信息工程學(xué)院，江西，吉安 343009；2.井岡山大學(xué)數(shù)理學(xué)院，江西，吉安，343009)

虛擬實景漫游系統(tǒng)中的全景圖像細節(jié)比較多，因天氣、拍攝技術(shù)等原因?qū)е聢D像場景不清晰而需要增強，增強的目的是為了突出全景圖像的美景細節(jié)信息，提高場景視覺效果。為了增強全景圖像的場景細節(jié)，本文提出了自適應(yīng)引導(dǎo)濾波算法AGIF（Adaptive Guided Image Filter）。該算法利用具有較強細節(jié)提取能力的加權(quán)最小二乘濾波器WLS (the Weighted Least Squares) 構(gòu)建引導(dǎo)圖像，對已有的引導(dǎo)濾波GIF（Guided Image Filter）進行改進，通過引入梯度值偏移量進行像素值自適應(yīng)，突出全景圖的圖像邊緣，使得全景圖像的細節(jié)進一步增強。實踐表明，增強后的全景圖用于虛擬漫游系統(tǒng)，提高了旅游場景的用戶體驗。

自適應(yīng)引導(dǎo)濾波；全景圖像；增強算法

0 引言

旅游場景的數(shù)字化采集是通過相機水平轉(zhuǎn)動一周拍攝多張圖片后，再進行全景圖的拼接。在旋轉(zhuǎn)一周的拍攝過程中，同一個場景的不同方向，存在某方向光照不強導(dǎo)致曝光不足，而相反的方向則光照過強導(dǎo)致曝光過度，曝光不恰當引起場景細節(jié)損失或是弱小目標辨識不清等，此外還存在拍攝的場景中因有運動目標而產(chǎn)生圖像局部運動模糊。這種由于天氣條件、亮度條件、捕獲設(shè)備以及攝影者本身的技術(shù)問題等多種因素，導(dǎo)致在采集旅游場景圖片時，可能出現(xiàn)圖片對比度較低、動態(tài)范圍壓縮有限，并存在顏色退化、偏色等現(xiàn)象，加上后期全景圖的拼接導(dǎo)致接縫模糊等問題，部分拼接出來的全景圖像不能滿足游客瀏覽高清旅游場景的需求，因此需要對質(zhì)量下降的全景圖進行增強。旅游場景中的全景圖像增強的主要目的有兩個：一是提高圖像的清晰度，二是改善圖像的視覺效果，使得圖像中感興趣的信息或是有用的圖像細節(jié)信息變得更加突顯。由于旅游場景全景圖細節(jié)多，需要一個加強的自適應(yīng)的圖像增強算法實現(xiàn)自然場景下的全景圖細節(jié)增強。為了達到較好的圖像視覺效果，本文提出了自適應(yīng)的引導(dǎo)濾波算法AGIF（Adaptive Guided Image Filter）。該算法應(yīng)用具有較強的細節(jié)提取能力的加權(quán)最小二乘濾波器WLS (the Weighted Least Squares)[1]構(gòu)建引導(dǎo)圖像，對已有的引導(dǎo)濾波GIF（Guided Image Filter）[2]進行改進，通過增加梯度值偏移量進行像素值自適應(yīng)，突出全景圖的圖像邊緣，使得全景圖像的細節(jié)進一步增強。

1 經(jīng)典圖像增強濾波器分析

雙向濾波器BF(Bilateral Filter)算法具有顯著的保邊緣特性，成為了GIF(Guided image filter)算法[2]保邊緣圖像增強算法設(shè)計的最重要思想來源之一。GIF是一種算法復(fù)雜度為()，又能增強圖像細節(jié)的濾波器，但也存在圖像平滑區(qū)域過度模糊、細節(jié)丟失的問題，本文將在該濾波器的基礎(chǔ)上進行改進。

2 自適應(yīng)引導(dǎo)濾波全景圖增強算法研究

2.1 GIF(Guided Image Filter)引導(dǎo)濾波器

GIF(Guided Image Filter)引導(dǎo)濾波器是由He等人[2]提出的一種能增強圖像細節(jié)的濾波器。該濾波器通過一幅引導(dǎo)圖像對輸入圖像進行濾波處理，該濾波器的優(yōu)勢在于輸出圖像在保留輸入圖像整體特征的時候還能充分獲得引導(dǎo)圖像的邊緣特征[7]，該濾波器適合全景圖的場景增強。濾波過程中的引導(dǎo)圖像記為，輸入圖像記為，濾波輸出圖像記為，假設(shè)在以象素為中心的窗口中引導(dǎo)圖像和輸出圖像之間存在如下的局部線性模型：

式(1)中，是半徑為的方形窗口，a和b為窗口中的線性系數(shù)，這種局部線性關(guān)系保證了輸出圖像的邊緣和引導(dǎo)圖像的邊緣一致。要保證輸出圖像和輸入圖像之間的差異盡可能小，關(guān)鍵在于求出線性系數(shù)a和b的最優(yōu)解，因此轉(zhuǎn)化為求以下目標函數(shù)最優(yōu)化問題：

對于輸入圖像，對每個包含象素的窗口計算不同的Q值，然后取均值。則在計算出所有的窗口系數(shù)a、b后的濾波輸出圖像為：

2.2 引導(dǎo)圖像的構(gòu)造

由于引導(dǎo)濾波器的輸出圖像在保留輸入圖像整體特征的時候，能充分獲得引導(dǎo)圖像的邊緣特征，又因為加權(quán)最小二乘濾波器WLS (the Weighted Least Squares) 算法[1]具有很好的細節(jié)提取能力，為了使得全景圖像的細節(jié)進一步增強，本文采用加權(quán)最小二乘濾波器WLS來構(gòu)造全景圖像的引導(dǎo)圖像，算法原理闡述如下。

對于給定的輸入圖像，要找到一個這樣的圖像，該圖像能與輸入圖像足夠相似，又能在平坦區(qū)域盡可能處處平滑，用最小化平方和來表示，如式(5)：

圖1 基于WLS構(gòu)造的引導(dǎo)圖

2.3 細節(jié)增強的自適應(yīng)引導(dǎo)濾波器設(shè)計

對于輸入圖像和引導(dǎo)圖像，GIF濾波器可形式化描述如下[2]：

在進行濾波的時候，在輸入圖像中增加一個偏移量被證明能使得圖像銳化，經(jīng)過濾波器算法增強后的圖像邊緣更清晰[10]。為了使得引導(dǎo)圖像G邊界和細節(jié)信息的像素在引導(dǎo)濾波器中進一步增強，本文引入梯度模差值作為偏移量，進行自適應(yīng)圖像增強。具體公式表達如下：

在本文中，根據(jù)式(10)，梯度及其模定義為如下式(11)：

2.4 細節(jié)增強算法基本流程及步驟

上面三小節(jié)闡述了所提出算法的基本思想和原理，并在原有的GIF算法上進行改進，提出了自適應(yīng)的圖像增強算法AGIF，現(xiàn)梳理成算法流程和步驟，算法流程如圖2所示。

圖2 算法流程圖

本算法具體步驟：

Step 1 對輸入圖像采用2.2節(jié)中的加權(quán)最小二乘濾波器WLS (the Weighted Least Squares) 算法構(gòu)建引導(dǎo)圖像；

Step 2 計算引導(dǎo)圖像的濾波窗口W中的梯度和梯度均值；

Step 4 AGIF引導(dǎo)濾波器對輸入圖像在引導(dǎo)圖像的邊界和細節(jié)信息引導(dǎo)下，用AGIF引導(dǎo)濾波器進一步增強，最后輸出圖像。

3 實驗驗證

3.1 實驗環(huán)境

本文實驗圖像采集工具為：佳能 Canon EOS 5D Mark III相機，佳能EF 8-15mm f/4L USM 魚眼鏡頭，佳能LC-5無線遙控器，曼富圖303SPH云臺，百諾C2691TB1三腳架等拍攝設(shè)備。本文所有方法的實驗硬件環(huán)境：Intel(R) Core(TM) i5-3337U Duo CPU 1.8 GHz/8 GB內(nèi)存；軟件運行環(huán)境：工具軟件為Matlab 2013a和操作系統(tǒng)為Windows8。為了驗證算法的有效性，采集了大量廬陵古村及博物館的不同場景和光線條件下的魚眼照片，并拼接成全景圖像，對其中拍攝質(zhì)量欠佳旅游場景全景圖像進行增強處理實驗，并依據(jù)客觀評價指標進行定量評價。

3.2 實驗結(jié)果與分析

為了對比分析，同時給出了GIF算法[2]、LLF算法[6]以及本文所提出的改進算法AGIF增強結(jié)果。圖4~圖7分別給出了全景圖在各算法執(zhí)行下的增強效果圖。表1給出了各算法的平均梯度、邊緣強度、信息熵的全景圖增強的客觀質(zhì)量評價指標計算值。

運用上述步驟，實驗結(jié)果見圖3所示。從圖3可以看出，增強后的圖像細節(jié)更清晰，色彩更亮。

圖3 AGIF增強效果局部放大效果圖

3.2.1 各算法增強效果圖

1) 釣源古村某場景全景圖增強后的局部細節(jié)對比

圖4 上圖：釣源古村某場景全景圖原圖；下圖：各方法增強后局部細節(jié)放大效果對比

2) 井岡山革命博物館某場景全景圖整體增強效果圖

圖5 博物館某場景全景圖的增強效果對比

3) 燕坊古村某場景全景圖整體增強效果圖

圖6 燕坊古村某場景全景圖的增強效果對比

4) 青原山凈居寺某場景全景圖整體增強效果圖

圖7 青原山凈居寺某場景全景圖的增強效果對比

從圖4~圖7可以看出，各個算法原圖像A)原圖場景中部分不清楚的細節(jié)經(jīng)過增強之后得到進一步的改進。對比于B)、C)等算法的實驗結(jié)果，直觀上可以看到，所提出的自適應(yīng)GIF增強算法能較好地提高圖像的清晰度，增強場景細節(jié)，效果比其它2種增強方法要好。

3.2.2 圖像增強的客觀評價

由于人眼的視覺強度不同，對于細節(jié)過多的全景圖像增強效果認知具有一定的主觀性，本文除了與GIF、LLF等圖像增強算法進行主觀上的視覺效果對比之外，還選用平均梯度AG（Average Gradient）、Sobel算子計算邊緣強度EI(Edge Intensity)、信息熵IE (Information Entropy)等三個常見圖像增強客觀評指標進行定量評價。

3.2.2.1 圖像增強的客觀評參數(shù)指標

1）平均梯度AG（Average Gradient）

平均梯度值A(chǔ)G分別將圖像長度和寬度方向上的相鄰像素灰度值做差后求平方和再求均方根值，它能較好地反映圖像的微小細節(jié)反差紋理變化特征，其值越大表示圖像越清晰、圖像質(zhì)量越好[12]。本文對圖像的RGB三通道的彩色顏色亮度值來求取增強后圖像的平均梯度值，其計算公式為式(12)：

2）邊緣強度EI

梯度雖然可以作為描述圖像結(jié)構(gòu)特征的一項重要指標，但其受噪音干擾比較大，而邊緣強度可以描述圖像的邊緣信息。使用Sobel算子進行邊緣檢測，它是一離散性差分算子，對噪聲具有平滑作用，提供較為精確的邊緣方向信息。該算子包含兩組3x3的矩陣，分別為水平模板及垂直模板，將之與圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值。Sobel算子模板如圖8所示。

圖8 Sobel算子模板 (a)水平模板 (b) 垂直模板

則邊緣強度的計算公式如下式(14)：

式中，代表,分別是圖像的像素行數(shù)和列數(shù)。清晰的圖像，邊緣信息越豐富，值也就越大。反之，模糊的圖像，邊緣信息值則越小。

3）信息熵計算IE

圖像信息熵是衡量圖像質(zhì)量的一個重要指標。增強圖像的熵值越大，說明增強圖像從源圖像中保留的信息量越多，細節(jié)越豐富，圖像質(zhì)量越好[13]。圖像的信息熵評價函數(shù)IE定義為式(15)：

3.2.2.2 全景圖像質(zhì)量增強客觀評價計算結(jié)果

根據(jù)平均梯度AG、Sobel算子計算邊緣強度EI、信息熵IE等三個常見圖像增強客觀評指標進行計算，結(jié)果如表1所示。

表1 圖4~圖7全景圖像質(zhì)量增強客觀評價指標

從表1可以看出，改進的AGIF算法增強后的值基本上均比其它算法增強的結(jié)果要大。值越大，說明圖像波動明顯，這與細節(jié)增強達到的目標是一致的。

4 結(jié)論

本文利用具有較強細節(jié)提取能力的加權(quán)最小二乘濾波器WLS (the Weighted Least Squares) 構(gòu)建引導(dǎo)圖像，通過引入梯度值偏移量在濾波窗口w內(nèi)對輸入圖像進行像素值自適應(yīng)增強，提出了自適應(yīng)的引導(dǎo)濾波算法AGIF算法。為了驗證AGIF算法在全景圖像上的增強效果，實驗對象選擇了各種不同場景降質(zhì)全景圖像，同時對GIF算法、LLF算法的增強效果進行比較。實驗驗證效果主要從兩方面進行度量，一是主觀視覺效果，二是客觀定量評價指標。實驗結(jié)果表明，提出的增強方法能較好地提高圖像的對比度，增強旅游場景的視覺效果，性能優(yōu)于其它2種增強方法。增強后的全景圖像應(yīng)用在釣源、渼陂、燕坊等廬陵古村的全景漫游系統(tǒng)中，取得較好的漫游視覺效果。

[1] Farbman Z, Fattal R, Lischinski D, et al. Edge-preserving decompositions for multi-scale tone and detail manipulation[J]. Acm Transactions on Graphics, 2008, 27(3):67.

[2] He K, Sun J, Tang X. Guided image filtering[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2013, 35(6): 1397-1409.

[3] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C].Computer Vision, 1998. Sixth International Conference on. IEEE: 839-846.

[4] Fattal R, Agrawala M, Rusinkiewicz S. Multiscale shape and detail enhancement from multi-light image collections[J]. ACM Trans. Graph., 2007, 26(3): 51.

[5] 戴霞,李輝,楊紅雨,等. 基于虛擬圖像金字塔序列融合的快速圖像增強算法[J].計算機學(xué)報,2014,37(3): 602-610.

[6] Paris S, Hasinoff S W, Kautz J. Local Laplacian filters: edge-aware image processing with a Laplacian pyramid[J]. ACM Trans. Graph., 2011, 30(4): 68.

[7] Paris S, Durand F. A fast approximation of the bilateral filter using a signal processing approach[J]. International Journal of Computer Vision, 2009, 81(1): 24-52.

[8] 張闖,遲健男,張朝暉,等. 基于邊緣檢測與雙邊濾波的彩色圖像去噪[J].電子學(xué)報, 2010,38(8): 1776-1783.

[9] 楊志學(xué),徐勇,方靜,等. 結(jié)合區(qū)域分割和雙邊濾波的圖像去噪新算法[J].中國圖象圖形學(xué)報,2012,17(1):40-48.

[10] Bennett E P, McMillan L. Video enhancement using per-pixel virtual exposures[J].ACM Transactions on Graphics (TOG). 2005, 24(3): 845-852.

[11] Pham T Q, Van Vliet L J. Separable bilateral filtering for fast video preprocessing[C].2005 IEEE International Conference on Multimedia and Expo. IEEE, 2005: 4.

[12] Buades A, Coll B, Morel J M. The staircasing effect in neighborhood filters and its solution[J]. Image Processing, IEEE Transactions on, 2006, 15(6): 1499-1505.

[13] Wu X. A linear programming approach for optimal contrast-tone mapping[J]. Image Processing, IEEE Transactions on, 2011, 20(5): 1262-1272.

[14] Paris S, Durand F. A fast approximation of the bilateral filter using a signal processing approach[C].European conference on computer vision. Springer Berlin Heidelberg, 2006: 568-580.

[15] 漆琳智,張超,吳向陽. 引導(dǎo)濾波的單幅圖像前景精確提取[J]. 杭州電子科技大學(xué)學(xué)報,2013,33(5): 166-170.

[16] Pham C C, Ha S V U, Jeon J W. Adaptive guided image filtering for sharpness enhancement and noise reduction[C].Pacific-Rim Symposium on Image and Video Technology. Springer Berlin Heidelberg, 2011: 323-334.

[17] Zhang B, Allebach J P. Adaptive bilateral filter for sharpness enhancement and noise removal[J]. IEEE Transactions on Image Processing, 2008, 17(5): 664-678.

[18] 譚嘯,馮久超. 圖像鄰域像素分布分析[J].吉林大學(xué)學(xué)報:工學(xué)版,2011,41(2):553-558.

ADAPTIVE GUIDED IMAGE FILTERING FOR THE PANORAMIC IMAGE ENHANCEMENT

TAN Yun-lan1, TANG Peng-jie2, XIA Jie-wu1

(1. School of Electronics and Information Engineering, Jinggangshan University, Ji’an, Jiangxi 343009, China; 2. School of Mathematics and Physics, Jinggangshan University,Ji’an, Jiangxi, 343009,China）

Aiming at the problem of image with low contrast cause by weather conditions, capture device or the technological level of photographer and the problem of indistinct mosaic caused by late panorama mosaic algorithm, the paper takes the advanced adaptive guided image filter algorithm for image detail enhancement. This paper using the weighted least squares filter for the construction of guided image, improving the existing adaptive filtering method, so as to better enhance the shape and surface details through introducing the gradient offset. The algorithm can improve the visual effect of the tourism scene from both the subjective result and object quality evaluation. At the same time, the algorithm can also compress the file size to achieve the transmission requirement of lightweight travel scene, so as to improve the user experience of virtual tourism.

adaptive guided image filtering; the panoramic image; enhancement algorithm

1674-8085(2018)04-0034-09

TP391

A

10.3969/j.issn.1674-8085.2018.04.007

2018-03-11；

2018-05-25

2015年度江西省藝術(shù)科學(xué)規(guī)劃項目(YG2015081)；2017年度江西省藝術(shù)科學(xué)規(guī)劃項目(YG2017283)；2015年江西省教育廳科技項目 (GJJ150788)

譚云蘭(1972-），女，江西新干人，副教授，博士，CCF會員，主要從事虛擬現(xiàn)實，圖像處理等方面的研究(E-mail:tanyunlan@163.com);

湯鵬杰(1983-)，男，河南鄲城人，講師，博士生，主要從事計算機視覺、深度學(xué)習等方面的研究(E-mail:5tangpengjie@#edu.cn);

夏潔武(1969-），女，江西吉水人，教授，碩士，主要從事圖像處理方面的研究(E-mail: 276360030@qq.com).