一種基于雙導(dǎo)向?yàn)V波的高動(dòng)態(tài)紅外圖像細(xì)節(jié)增強(qiáng)與去噪算法

劉可佳，馬榮生，龐鈺寧

?

一種基于雙導(dǎo)向?yàn)V波的高動(dòng)態(tài)紅外圖像細(xì)節(jié)增強(qiáng)與去噪算法

劉可佳，馬榮生，龐鈺寧

(中國(guó)人民解放軍63726部隊(duì)，寧夏 銀川 750004)

針對(duì)高動(dòng)態(tài)紅外圖像位壓縮和細(xì)節(jié)增強(qiáng)過(guò)程中的噪聲放大、微小細(xì)節(jié)增強(qiáng)不足以及強(qiáng)邊緣過(guò)度增強(qiáng)等問(wèn)題，提出一種基于雙導(dǎo)向?yàn)V波的細(xì)節(jié)增強(qiáng)與去噪算法。用導(dǎo)向?yàn)V波分別獲得兩組基圖和細(xì)節(jié)圖，低參數(shù)基圖作為去噪基圖的估計(jì)；低參數(shù)與高參數(shù)細(xì)節(jié)圖之差作為去噪細(xì)節(jié)圖的估計(jì)；兩圖分別經(jīng)過(guò)自動(dòng)增益控制和位壓縮后，合成為增強(qiáng)去噪圖像。為準(zhǔn)確估計(jì)參數(shù)，提出一種基于細(xì)節(jié)圖像素灰度值變化規(guī)律統(tǒng)計(jì)的優(yōu)化模型，分類(lèi)考察像素灰度值收斂特性后給出參數(shù)取值范圍。仿真結(jié)果表明，該算法能夠準(zhǔn)確選擇關(guān)鍵參數(shù)，在增強(qiáng)細(xì)節(jié)和抑制噪聲的同時(shí)，平衡微小細(xì)節(jié)和強(qiáng)邊緣增強(qiáng)效果，并具有準(zhǔn)實(shí)時(shí)性、模型簡(jiǎn)單和控制參數(shù)較少等特點(diǎn)。

高動(dòng)態(tài)紅外圖像；細(xì)節(jié)增強(qiáng)；去噪；導(dǎo)向?yàn)V波；參數(shù)優(yōu)化

高性能紅外熱成像設(shè)備應(yīng)用廣泛，能夠獲得高動(dòng)態(tài)(high dynamic range，HDR)紅外圖像，位深達(dá)14 bit以上，在獲取目標(biāo)信息方面具有重要意義。人眼只能分辨128級(jí)灰度動(dòng)態(tài)[1]，多數(shù)顯示設(shè)備灰度動(dòng)態(tài)范圍設(shè)計(jì)為256級(jí)，即8 bit位深，因此需要對(duì)HDR紅外圖像進(jìn)行動(dòng)態(tài)范圍壓縮(dynamic range compression，DRC)顯示。紅外圖像背景較暗，前景或目標(biāo)物體較亮，目標(biāo)物體或感興趣場(chǎng)景的灰度級(jí)范圍相對(duì)集中，直接進(jìn)行DRC會(huì)損失許多細(xì)節(jié)信息，因此許多高動(dòng)態(tài)紅外圖像細(xì)節(jié)增強(qiáng)算法被提出。

設(shè)計(jì)好的高動(dòng)態(tài)紅外圖像細(xì)節(jié)增強(qiáng)算法不僅要實(shí)現(xiàn)細(xì)節(jié)增強(qiáng)，達(dá)到增強(qiáng)對(duì)比度、不失真和展現(xiàn)更多細(xì)節(jié)的目的，還應(yīng)能夠抑制噪聲，具有盡量少的控制參數(shù)和實(shí)時(shí)性等特點(diǎn)，具有很強(qiáng)的挑戰(zhàn)性。

早期人們將色調(diào)映射類(lèi)算法、直方圖均衡(histogram equalization，HE)類(lèi)算法和線性濾波算法等用于高動(dòng)態(tài)紅外圖像的DRC和增強(qiáng)。自動(dòng)增益控制[2](automatic gain control，AGC)是調(diào)整圖像動(dòng)態(tài)范圍和對(duì)比度最基礎(chǔ)的方法，先移除極大和極小灰度值，然后對(duì)灰度值進(jìn)行線性壓縮，簡(jiǎn)單快速但增強(qiáng)效果有限。HE類(lèi)算法通過(guò)改變圖像直方圖分布實(shí)現(xiàn)細(xì)節(jié)增強(qiáng)，分為全局直方圖均衡和局部直方圖均衡，前者如平臺(tái)直方圖均衡(plateau histogram equalization，PHE)[3]和亮度保持雙直方圖均衡(brightness preserving bi-histogram equalization，BPBHE)[4]，后者如自適應(yīng)直方圖均衡(adaptive histogram equalization，AHE)[5]、對(duì)比度受限自適應(yīng)直方圖均衡(contrast limited adaptive histogram equalization，CLAHE)[6]等。HE類(lèi)算法能提高圖像對(duì)比度并顯示更多細(xì)節(jié)，但是對(duì)圖像的空間和頻域信息利用較少，存在平滑區(qū)域噪聲放大、丟失細(xì)節(jié)、視覺(jué)失真等缺陷，在增強(qiáng)微小細(xì)節(jié)方面缺少靈活性。

近年來(lái)，細(xì)節(jié)增強(qiáng)算法的研究工作朝分層處理的方向發(fā)展，即分離圖像的細(xì)節(jié)進(jìn)行單獨(dú)處理后再得到合成圖像。非銳化掩膜方法利用線性濾波將圖像從空間域上分離為低頻和高頻兩部分，再通過(guò)疊加和線性壓縮進(jìn)行增強(qiáng)，因線性濾波平滑作用，邊緣處會(huì)產(chǎn)生光暈(halos)現(xiàn)象。各向異性差分法[7]通過(guò)保留較大梯度、衰減小差分值，可有效消除光暈，但遞歸過(guò)程計(jì)算量過(guò)大而難以用于實(shí)時(shí)處理。

自雙邊濾波(bilateral filter，BF)[8-9]和導(dǎo)向?yàn)V波(guided image filter，GIF)[10]算法提出后，基于這兩種濾波的細(xì)節(jié)增強(qiáng)算法研究不斷深入，因兩者具有良好的保邊平滑特性，GIF還具有快速特點(diǎn)，在提升增強(qiáng)效果的同時(shí)還兼顧到噪聲的抑制，且在實(shí)時(shí)性方面也有很大提升。

雙邊濾波動(dòng)態(tài)范圍分割(bilateral filter and dynamic range partitioning，BF&DRP)[11]利用BF提取細(xì)節(jié)，從一定程度上克服了線性濾波的光暈缺點(diǎn)，但在邊界處有梯度反轉(zhuǎn)現(xiàn)象，且噪聲放大明顯；基于雙邊濾波的數(shù)字細(xì)節(jié)增強(qiáng)(BF-based digital detail enhancement，BF&DDE)[12]進(jìn)一步發(fā)展了該算法，在抑制梯度反轉(zhuǎn)現(xiàn)象和抑制平坦區(qū)域噪聲放大上有所改進(jìn)，但是此類(lèi)算法在BF的灰度域?yàn)V波核較小時(shí)，會(huì)產(chǎn)生假邊緣現(xiàn)象，實(shí)時(shí)性也較差，BF快速算法[9]可提高實(shí)時(shí)性，但其濾波結(jié)果為近似解，也會(huì)影響增強(qiáng)效果。

GIF是一種線性移可變的濾波過(guò)程，從局部線性濾波發(fā)展而來(lái)，包括引導(dǎo)圖像、輸入圖像和輸出圖像。引導(dǎo)圖像可以事先設(shè)定，也可采用輸入圖像本身，后者可構(gòu)造保邊平滑濾波器，具有快速、非近似、靈活和高效的特點(diǎn)，被廣泛用于去噪、細(xì)節(jié)增強(qiáng)、HDR壓縮、圖像映射、去霧等計(jì)算機(jī)視覺(jué)領(lǐng)域。在引導(dǎo)濾波核函數(shù)大小一定時(shí)，其參數(shù)給出了區(qū)分平坦區(qū)域和邊界紋理區(qū)域的標(biāo)準(zhǔn)，可以在灰度值域靈活提取具有不同灰度動(dòng)態(tài)范圍的細(xì)節(jié)圖。

基于導(dǎo)向?yàn)V波的數(shù)字細(xì)節(jié)增強(qiáng)(GIF-based digital detail enhancement，GIF&DDE)[13]和改進(jìn)的時(shí)序數(shù)字細(xì)節(jié)增強(qiáng)(improved temporal digital detail enhancement，TDDE2)[14]引入掩膜思想，利用GIF的權(quán)重系數(shù)獲得掩膜矩陣，用于區(qū)分圖像中的結(jié)構(gòu)紋理區(qū)域和平坦噪聲區(qū)域，在細(xì)節(jié)增強(qiáng)的同時(shí)實(shí)現(xiàn)噪聲抑制，計(jì)算效率也明顯提高，但由于掩膜矩陣賦予強(qiáng)邊緣和大結(jié)構(gòu)紋理較大權(quán)重，存在過(guò)度增強(qiáng)現(xiàn)象，抑制部分尺度較小細(xì)節(jié)紋理，且設(shè)置的參數(shù)過(guò)多。

1 算法模型

圖1 HDR紅外圖像細(xì)節(jié)增強(qiáng)與去噪算法框圖

1.1 導(dǎo)向?yàn)V波(GIF)

1.2 改進(jìn)的AGC (Modified AGC)

1.3 合成增強(qiáng)去噪圖

2 ε參數(shù)的優(yōu)化模型

算法對(duì)去噪基圖和去噪細(xì)節(jié)圖的估計(jì)精度，取決于參數(shù)1和2選擇的準(zhǔn)確性。與文獻(xiàn)[14]根據(jù)經(jīng)驗(yàn)選擇不同，本文在定量研究參數(shù)與細(xì)節(jié)圖像素灰度值之間關(guān)系的基礎(chǔ)上獲得優(yōu)化的區(qū)間。

對(duì)Temple.bmp (圖2)進(jìn)行系列GIF，得到一組基圖和細(xì)節(jié)圖序列，第180行的一維剖面曲線簇分別如圖3、4所示，用、和分別標(biāo)識(shí)噪聲、細(xì)節(jié)和強(qiáng)邊緣3類(lèi)像素。噪聲像素方差較小，在>128之后迅速收斂；強(qiáng)邊緣是指像素灰度值變化陡峭且幅度較大，其鄰域方差較大，在>16384之后，其灰度值仍未達(dá)到收斂；細(xì)節(jié)像素方差介于上述兩類(lèi)之間，在圖像中占比最大，在>8192之前已經(jīng)表現(xiàn)出明顯收斂趨勢(shì)。

圖2 本文算法與其他算法效果對(duì)比

圖3 基圖第180行一維剖面曲線簇像素分類(lèi)標(biāo)識(shí)圖

圖4 細(xì)節(jié)圖第180行一維剖面曲線簇像素分類(lèi)標(biāo)識(shí)圖

圖5 細(xì)節(jié)圖像素灰度值環(huán)比曲線(RGC)

圖6 細(xì)節(jié)圖像素灰度值倍率曲線(MPC)

如圖7所示，1=50比1=5時(shí)的背景噪聲條紋抑制效果好，表明前者提取到更多噪聲。當(dāng)1=50時(shí)，2越大，強(qiáng)邊緣過(guò)度增強(qiáng)越明顯，邊界出現(xiàn)更暗的邊緣。兩行細(xì)節(jié)行在2較小時(shí)，灰度方差較小的磚縫更清晰，而灰度方差較大的黑影邊緣模糊；2增大時(shí)，磚縫和黑影的清晰度朝反方向變化，反映出GIF的參數(shù)對(duì)不同灰度尺度細(xì)節(jié)的“聚焦能力”。

圖7 增強(qiáng)圖三類(lèi)像素的細(xì)節(jié)增強(qiáng)和去噪效果局部對(duì)比

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法性能，與7種經(jīng)典算法進(jìn)行對(duì)比，涉及頻域?yàn)V波增強(qiáng)、直方圖類(lèi)增強(qiáng)算法和分層算法，原始圖進(jìn)行AGC后作為比較對(duì)象。采用8幅14 bit HDR紅外圖像，動(dòng)態(tài)范圍從幾十到幾千不等，涵蓋不同風(fēng)格的建筑物、自然景物、天空背景，包括背景噪聲、干擾豎條紋、細(xì)節(jié)紋理、強(qiáng)邊緣等像素類(lèi)型，可以綜合反映本文算法性能。

圖2中同態(tài)濾波增強(qiáng)(homomorphic filtering enhancement，HomoFE)、HE類(lèi)算法能顯著提升整圖對(duì)比度，但同時(shí)噪聲和背景條紋被過(guò)度放大，有一定失真，細(xì)節(jié)增強(qiáng)存在微小細(xì)節(jié)丟失(圖8第2行樓頂、第6行熱水器)、細(xì)紋理過(guò)細(xì)或過(guò)粗(圖8第4行鐵塔、第8行樹(shù)枝)、邊緣模糊等；分層算法對(duì)比度適中，場(chǎng)景保真度較高，細(xì)節(jié)紋理表現(xiàn)更細(xì)膩、邊緣更清晰，噪聲抑制效果較好。

分層算法之間相比，BF&DRP細(xì)節(jié)增強(qiáng)效果較好，但是因未采取去噪措施，存在噪聲放大現(xiàn)象，GIF&DDE和TDDE2因采用掩膜技術(shù)，抑制噪聲能力稍好，TDDE2對(duì)邊緣處增強(qiáng)更加銳利，但是同時(shí)存在過(guò)度增強(qiáng)現(xiàn)象(圖8第5、6行邊緣)，GIF&DDE細(xì)小紋理?yè)p失更明顯(圖8第3行樓房、第8行樹(shù)枝)。對(duì)比圖8局部細(xì)節(jié)增強(qiáng)效果，提出的算法微小細(xì)節(jié)增強(qiáng)效果最好，在邊緣銳化(鐵塔三角支架、樹(shù)枝)、局部對(duì)比度(磚縫、鐵塔、廣告牌文字)、細(xì)紋理保留(樓體、屋頂熱水器、水塔側(cè)壁)和抑制噪聲等方面都有較好的表現(xiàn)和平衡，從圖9和表1可見(jiàn)增強(qiáng)后背景噪聲方差比AGC圖低。

圖8 本文算法與其他算法對(duì)比(細(xì)節(jié)局部)

圖9 本文算法與其他算法對(duì)比(噪聲局部)

表1 各種算法的噪聲方差、運(yùn)算時(shí)間和參數(shù)個(gè)數(shù)列表

算法實(shí)時(shí)性方面，BF&DRP耗時(shí)最多，AGC因算法簡(jiǎn)單耗時(shí)最短，直方圖類(lèi)算法在30 ms內(nèi)可完成一幀處理，效率較高，3種基于GIF的算法時(shí)間比較接近，本文算法處理一幅圖的運(yùn)算時(shí)間約為66 ms，達(dá)到15幀/秒，具有準(zhǔn)實(shí)時(shí)性。

圖10 增強(qiáng)圖像的局部噪聲方差均值曲線

4 結(jié) 論

[1] SILVERMAN J. Display and enhancement of infrared images [C]//International Conference on Image Processing and its Applications, London: IET Press, 2002: 345-348.

[2] PELI E. Contrast in complex images [J]. Journal of the Optical Society of America A, 1990, 7(10): 2032-2040.

[3] VICKERS V E. Plateau equalization algorithm for real-time display of highquality infrared imagery [J]. Optical Engineering, 1996, 35(7): 1921-1926.

[4] ZUO C, CHEN Q, SIU X R, et al. Brightness preserving image contrast enhancement using spatially weighted histogram equalization [J]. International Arab Journal of Information Technology, 2011, 50(1): 4468.

[5] PIZER S M, AMBURM E P, AUSTIN J D, et al. Adaptive histogram equalization and its variations [J]. Computer Vision Graphics & Image Process, 1987, 39 (3): 355-368.

[6] ZUIDERVELD K. Contrast limited adaptive histogram equalization [M]//Graphics Gems IV. San Diego: Academic Press Professional, Inc, 1994: 474-485.

[7] TUMBLIN J, TURK G. LCIS: a boundary hierarchy for detail preserving contrast reduction [C]//Proceedings of the 26thAnnual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 1999: 83-90.

[8] TOMASI C，MANDUCHI R. Bilateral filtering for gray and color images [C]//Proceedings of the 1998 IEEE International Computer Vision. New York: IEEE Press, 1998: 839-846.

[9] DURAND F, DORSEY J. Fast bilateral filtering for the display of high-dynamic-range images [J]. ACM Transactions on Graphics, 2002, 21(3): 257-266.

[10] HE K M, SUN J, TANG X O. Guided image filtering [J]. IEEE Transactions on Software Engineering, 2010, 35(6): 1-14.

[11] BRANCHITTA F, DIANNI M, CORSINI G, et al. New technique for the visualization of high dynamic range infrared images [J]. Optical Engineering, 2009, 48 (9): 6401.

[12] ZUO C CHEN Q, LIU N. Display and detail enhancement for high-dynamicrange infrared images [J]. Optical Engineering, 2011, 50(12): 895-900.

[13] LIU N, ZHAO D X. Detail enhancement for high dynamic range infrared images based on guided image filter [J]. Infrared Physics & Technology, 2014, 67: 138-147.

[14] GAREIA F，SCHOCKAERT C，MIRBACH B. Noise removal and real-time detail enhancement of high-dynamic-range infrared images with time consistency [EP/OL]. [2018-01-30]. https://www. researchgate.net/publication/277714052_Noise_Removal_and_Real-Time_Detail_Enhancement_of_High-Dynamic-Range_Infrared_Images_with_Time_Consistency.

A Detail Enhancement and Denoising Algorithm of High Dynamic Range Infrared Image Based on Double Guided Image Filter

LIU Kejia, MA Rongsheng, PANG Yuning

(Troops 63726 of PLA, Yinchuan Ningxia 750004, China)

Focusing on the noise amplification, insufficient enhancement of small details and excessive enhancement of edge in the process of high dynamic range infrared image compression and detail enhancement, a novel detail enhancement and denoising method based on double guided image filtering is proposed in the present study. We first applied GIF to obtain two groups of base images and detail images. The base image with lowis used as an estimate of denoised base component and correspondingly the detail image as the noise estimation. Thus, the difference between the two detail images can be logically used to estimate the denoised detail. After the two estimated components are processed and compressed into the display range by our modified automatic gain control method respectively, we recombine the two parts and obtain the enhanced and denoised image. An optimization model based on classification statistics of gray value convergency in detail pixels is also presented, which provides reasonable numerical range of the critical parameterin GIF. The experimental evaluation shows that the algorithm can accurately choose key parameters and improve the slight details and enhance edges while highlighting details and reducing noises. Furthermore, our proposed method is characteristic of being real-time, requiring simpler models and fewer parameters.

high dynamic range infrared image; detail enhancement; noise reduction; guided image filtering; parameter optimization

TP 391

10.11996/JG.j.2095-302X.2018061048

A

2095-302X(2018)06-1048-07

2018-04-16；

2018-07-24

劉可佳(1980-)，男，安徽臨泉人，工程師，碩士。主要研究方向?yàn)閳D像處理、圖像目標(biāo)檢測(cè)與識(shí)別等。E-mail：lkj106@163.com