自適應(yīng)雙邊濾波與方向梯度的紅外圖像增強

聶豐英，侯利霞，萬里勇,2

自適應(yīng)雙邊濾波與方向梯度的紅外圖像增強

聶豐英1，侯利霞1，萬里勇1,2

（1. 南昌工學(xué)院 信息與人工智能學(xué)院，江西 南昌 330108；2. 江西師范大學(xué) 管理科學(xué)與工程研究中心，江西 南昌 330022）

為克服現(xiàn)有的紅外圖像增強方法存在欠增強、過增強以及對比度不高等缺陷，提出了自適應(yīng)雙邊濾波與方向梯度的紅外圖像增強方法。對雙邊濾波進行改進，加權(quán)系數(shù)自適應(yīng)于平滑區(qū)域和細節(jié)區(qū)域，以作為Retinex的中心環(huán)繞函數(shù)，將紅外圖像分解為基礎(chǔ)層和細節(jié)層；用改進的平臺直方圖均衡化對基礎(chǔ)層圖像進行增強；提出一種方向梯度算子，用其提取細節(jié)層圖像的梯度圖，進而對細節(jié)層圖像進行非線性的自適應(yīng)邊緣增強。實驗結(jié)果表明，相對于部分現(xiàn)有的方法，本文方法能更有效地提升紅外圖像的亮度和對比度，增強圖像的視覺效果更佳。

紅外圖像增強；平臺直方圖；自適應(yīng)雙邊濾波；方向梯度算子；Retinex

0 引言

紅外圖像廣泛應(yīng)用于醫(yī)療衛(wèi)生、軍事監(jiān)測和航空等領(lǐng)域[1]。由于熱輻射的各向同性和紅外傳感器的不均勻感光響應(yīng)，紅外成像往往亮度和對比度較低，紋理細節(jié)較模糊[2]。紅外圖像增強是紅外成像及其應(yīng)用的必需。直方圖均衡化[3]廣泛用于紅外圖像增強，但是其對像素的統(tǒng)一均衡化分布處理，往往伴有局部過增強和欠增強的效果。雙直方圖均衡化[4]將圖像的直方圖分為兩個子直方圖，分別進行均衡化處理。Faraj等人[5]提出了自適應(yīng)的直方圖均衡化方法，更適宜地增強圖像的對比度。Ashiba等人[6]將Gamma矯正與直方圖均衡化進行結(jié)合，但是Gamma矯正與直方圖均衡化對亮度的雙重增強必然會產(chǎn)生過增強。Liu等人[7]同時對圖像進行全局和局部的規(guī)定化，以實現(xiàn)全局增強和局部增強的互補。

直方圖均衡化單純從灰度級的均勻分布上增強圖像的對比度，未能體現(xiàn)圖像的局部紋理細節(jié)特征[8]。基于Retinex理論的圖像增強方法根據(jù)人類視覺感知的原理將紅外圖像分為基礎(chǔ)層和細節(jié)層[9]，對基礎(chǔ)層和細節(jié)層分別進行增強處理。Chen等人[10]采用邊緣保持濾波器將紅外圖分解為光照圖像和反射圖像，對光照圖像進行自適應(yīng)模糊平臺直方圖均衡化。但是單一尺度Retinex的圖像增強會產(chǎn)生光暈現(xiàn)象和噪聲，于是，魏然然等人[11]提出了一種改進多尺度的Retinex紅外圖像增強方法。Lv等人[12]對紅外圖像的細節(jié)層進行多尺度的增強以凸顯圖像的細節(jié)特征，同時用多尺度中值濾波對細節(jié)層進行去噪。對細節(jié)層的中值濾波處理，缺乏魯棒性，在一定程度上破壞圖像的紋理細節(jié)。單一的增強技術(shù)往往難以獲得滿意的增強效果，部分學(xué)者傾向于將多種增強技術(shù)進行融合。文獻[13]先對紅外圖像進行多尺度的局部顯著性提取，再對多尺度顯著圖像進行融合以實現(xiàn)圖像增強。

為了進一步提升紅外圖像的亮度和對比度，同時保持圖像的自然效果，提出了自適應(yīng)雙邊濾波與方向梯度的紅外圖像增強方法。用改進的雙邊濾波將圖像分為基礎(chǔ)層和細節(jié)層；用改進的平臺直方圖均衡化對基礎(chǔ)層進行增強，以顯示隱藏于暗區(qū)的圖像細節(jié)；用方向梯度算子對細節(jié)層進行自適應(yīng)的邊緣增強，以提升圖像的對比度。

1 基于自適應(yīng)雙邊濾波的Retinex

Retinex理論模擬人類視覺系統(tǒng)感知物體的亮度和顏色，解釋了人眼視覺系統(tǒng)的顏色恒常性，即物體的顏色由物體的反射性質(zhì)決定，不受光照的影響。Retinex理論認為圖像由光照和物體表面對光照的反射相互作用的結(jié)果。光照為圖像的低頻信息，決定圖像的動態(tài)范圍，對光照的反射為圖像的高頻信息，如式(1)所示：

＝×(1)

式中：為原圖像；為圖像的基礎(chǔ)層；為圖像的細節(jié)層。為易于計算，將(1)式等價變換到對數(shù)域，為：

ln＝ln+ln(2)

式中：基礎(chǔ)層為中心環(huán)繞函數(shù)對圖像的濾波結(jié)果。由于高斯函數(shù)的平滑特性，中心環(huán)繞函數(shù)一般取高斯函數(shù)：

經(jīng)過濾波獲得光照圖像：

為進一步研究邏輯單元或組合電路對單事件瞬態(tài)的響應(yīng)，利用TCAD軟件搭建了3D反相器。圖2和圖3給出了3D TCAD仿真中的一個反相器和三級反相器鏈。

＝U(4)

將式(2)等價變換，得到反射圖像：

＝exp[ln－ln(U)] (5)

高斯濾波基于空間相關(guān)性分布進行濾波，忽略了像素域的相關(guān)性，因此未能有效保持圖像的邊緣細節(jié)，未能對光照做出準確估計。高斯濾波對光照圖像的估計趨向于均勻，以致反射圖像的光譜范圍更寬，最終導(dǎo)致光譜重疊無法對特定的光譜子帶進行增強。相對地，雙邊濾波以邊緣保持能力著稱，如式(6)：

式中：為濾波圖像；(,)為以像素(,)為中心的鄰域；為加權(quán)系數(shù)，定義如式(7)～(9)：

式中：s為空間距離域加權(quán)系數(shù)；r為灰度域加權(quán)系數(shù)；s為空間域標準差；r為灰度域標準差。顯然，雙邊濾波對一個像素的濾波處理，既考慮像素的空間位置信息，也考慮像素的灰度信息，具有良好的邊緣保持能力。

然而，雙邊濾波將空間距離域系數(shù)與灰度域系數(shù)視作等同，缺乏魯棒性。s對任何大小一樣的圖像鄰域都是一樣的。于灰度域加權(quán)系數(shù)r，對于平滑區(qū)域，分母的r必然較小，而分子的兩個像素的灰度差(,)－(,)往往也較小；而對于細節(jié)區(qū)域，分母的r必然較大，而分子的兩個像素的灰度差(,)－(,)往往也較大，因此r無細節(jié)敏感性。相對細節(jié)區(qū)域，平滑區(qū)域中像素的相關(guān)性較大，加權(quán)系數(shù)應(yīng)較大，但是r未能體現(xiàn)平滑區(qū)域與細節(jié)區(qū)域的差異。因此，本文提出改進的雙邊濾波，用作Retinex的中心環(huán)繞函數(shù)，如下：

式中：為反比于當(dāng)前鄰域的信息熵Entropy()的系數(shù)，而分子的圖像信息熵Entropy()起到歸一化的作用。信息熵代表一個圖像或圖像區(qū)域的細節(jié)信息豐富程度[14]。當(dāng)前鄰域為平滑區(qū)域時，其對應(yīng)的信息熵較小，對應(yīng)的較大，因此，相對于空間距離域加權(quán)系數(shù)s，灰度域加權(quán)系數(shù)r的占比較大，當(dāng)前鄰域為細節(jié)區(qū)域時，則反之。改進的雙邊濾波加權(quán)系數(shù)充分體現(xiàn)了平滑區(qū)域和細節(jié)區(qū)域在灰度域加權(quán)系數(shù)r上的差異，因此能更有效地提升雙邊濾波的邊緣保持能力。

圖1 標準雙邊濾波與改進的雙邊濾波的效果

使用邊緣保持能力較好的改進雙邊濾波將紅外圖像分解為大動態(tài)信息的基礎(chǔ)層圖像和小動態(tài)信息的細節(jié)層圖像。既實現(xiàn)了圖像的平滑處理，又能夠保持圖像的邊緣信息。這樣可以將較大的對比度留在基礎(chǔ)層，而細節(jié)層僅保留局部較小對比度的信息[15]。因此，改進的雙邊濾波對光照的估計更加準確。

2 基礎(chǔ)層的平臺直方圖均衡化

基于改進雙邊濾波的Retinex，將圖像分解為基礎(chǔ)層和細節(jié)層?；A(chǔ)層為圖像的低頻部分，其灰度級的不合理分布是紅外圖像對比度低的主要原因，但是對其進行直方圖均衡化會造成像素數(shù)較多的背景過增強。因此，本文對基礎(chǔ)層采用平臺直方圖均衡化，對其灰度級進行均勻而適宜的分布。

平臺直方圖均衡化用平臺閾值調(diào)整原圖像的直方圖：大于上平臺閾值的()統(tǒng)計值調(diào)整為，以避免像素數(shù)較多的背景的過增強；其余的()統(tǒng)計值保持不變。平臺直方圖均衡化算法的定義為[16]：

接下來的均衡化過程為：

平臺直方圖均衡化是對直方圖均衡化的改進，平臺閾值的取值決定著平臺直方圖均衡化的改進效果。平臺直方圖均衡化雖然能對灰度級進行相對合理的分布，但是平臺閾值多數(shù)依靠經(jīng)驗設(shè)置，缺乏魯棒性。因此，本文提出自適應(yīng)的平臺閾值，用改進的平臺直方圖均衡化對紅外圖像的基礎(chǔ)層進行增強處理。

根據(jù)基礎(chǔ)層圖像的直方圖分布的形狀，呈近似對稱的波峰形，高峰為正中央附近，兩頭低中間高。因此，基礎(chǔ)層圖像的直方圖可以近似地看作服從離散正態(tài)分布。正態(tài)分布的3準則如圖2所示，元素處于區(qū)間(－,＋)、(－2,＋2)和(－3,＋3)的概率分別為68.26%，95.44%和99.74%，其中和分別為元素的均值和標準差。對于一個總體中的個體，如果其超出了2的范圍(－2,＋2)，其為奇異個體的概率為95.44%，因此本文選取平臺閾值＝＋2，自適應(yīng)于特定紅外圖像基礎(chǔ)層的和。當(dāng)基礎(chǔ)層的某個灰度級的原直方圖()＞時，說明其與大多數(shù)其他灰度級的直方圖差別過大，則將其調(diào)整為()＝。

圖2 正態(tài)分布的3s準則

3 細節(jié)層的方向邊緣增強

由于紅外熱成像的特性，紅外圖像本身的對比度較低，對基礎(chǔ)層進行平臺直方圖均衡化是為了提升圖像的亮度和對比度，使得處于黑暗區(qū)域的圖像細節(jié)得以正常顯示，提升圖像的對比度。僅增強紅外圖像的基礎(chǔ)層，往往難以實現(xiàn)紅外圖像理想的增強效果，進一步地，本文提出了基于方向梯度算子的細節(jié)層邊緣增強方法。

借鑒于Canny和Sobel算子的優(yōu)點，本文提出了一種方向梯度算子，如圖3所示。方向梯度算子的創(chuàng)新之處有：

①能夠表示圖像在水平、垂直和正、反對角線4個方向上的梯度，基本上能表示圖像的所有紋理和邊緣方向。

②梯度算子各位置上的梯度系數(shù)反比于該位置與中心位置的相對距離，以體現(xiàn)鄰域中各像素對中心像素在梯度上的影響和相關(guān)性，以更有效地提取圖像各方向的梯度信息。

③現(xiàn)有的梯度算子尺寸均為3×3，而方向梯度算子采用尺寸5×5，能更有效地體現(xiàn)紋理和邊緣的方向走勢。

令h，v，d和id分別為方向梯度算子的水平、垂直、對角和反對角梯度算子，它們對細節(jié)層提取的邊緣圖像分別為：

h＝?h(15)

v＝?v(16)

d＝?d(17)

id＝?id(18)

式中：?為卷積運輸。將4個方向的梯度圖像進行融合，得到細節(jié)層的紋理邊緣圖像：

＝h＋v＋d＋id(19)

圖3 多向梯度算子

對比度較清晰的紅外圖像，經(jīng)邊緣提取會得到較強的邊緣圖像，但對紅外圖像的增強只需輕微的邊緣增強即可；對對比度較低的紅外圖像，會得到邊緣較弱的邊緣圖像，但是紅外圖像需要更大強度的邊緣增強。鑒于此，本文對細節(jié)層采用自適應(yīng)非線性疊加的邊緣增強：

e＝＋/Entropy() (20)

式中：e為對細節(jié)層進行邊緣增強后的細節(jié)圖像；Entropy()為原紅外圖像的信息熵。圖像的對比度越清晰，其信息熵越大。從式(20)可以看出，對細節(jié)圖像的邊緣增強自適應(yīng)地反比于紅外圖像本身的信息熵。對比度低較模糊的圖像，其信息熵較小，因此需較大強度的邊緣增強，而對比度高較清晰的圖像，只需輕微的邊緣增強即可。

將以上用改進的平臺直方圖均衡化增強的基礎(chǔ)層e和經(jīng)方向邊緣增強的細節(jié)層e，做Retinex反變換得到增強的紅外圖像：

e＝exp(lne＋lne) (21)

4 實驗分析

實驗環(huán)境為Matlab 2016a，i7@2.70 GHz CPU和8G RAM的計算機以及Win10系統(tǒng)。將本文方法與文獻[7]、[11]、[12]和[13]中提出的方法用3幅場景紅外圖像進行實驗比較，如圖4～6所示。文獻[7]為直方圖增強方法，文獻[11]和[12]為基于Retinex的增強方法，而文獻[13]為多尺度融合增強技術(shù)方法。

如圖4所示，原圖像的整體亮度偏暗，對比度較低。各算法對場景一進行增強后，對比度均有提升，但是文獻[7]產(chǎn)生明顯的過增強，雖然部分細節(jié)異常清晰，但是部分細節(jié)因過增強而被破壞。文獻[12]產(chǎn)生明顯的偽影，以天空為背景的樹枝細節(jié)被破壞，文獻[11]呈現(xiàn)輕微的模糊，對比度不高。文獻[13]和本文方法的增強效果較好，在提升對比度的同時，較好地保持圖像的自然效果，但是文獻[13]的整體亮度偏暗，而本文方法的亮度對于人眼視覺感知較適宜。

如圖5所示，原圖像的亮度偏暗，紋理細節(jié)較豐富，但是對比度較低。文獻[7]的對比度較高，但是同時存在過增強和欠增強，暗區(qū)的部分細節(jié)因欠增強而被隱藏，而亮區(qū)的部分細節(jié)因過增強而被破壞。文獻[12]有較高的對比度，但是部分細節(jié)出現(xiàn)偽影，有明顯的光暈現(xiàn)象。文獻[11]雖然突顯了部分細節(jié)，但是圖像整體泛白，對比度的提升不明顯。文獻[13]和本文方法的增強效果明顯比其他算法要好，本文方法在亮度適宜和對比度上，相比文獻[13]更有優(yōu)勢。

如圖6所示，原圖像的粗細節(jié)較少，但是微小細節(jié)較多。文獻[7]的增強效果整體清晰度較高，但是因欠增強部分細節(jié)被隱藏，而部分細節(jié)因過增強出現(xiàn)偽影，圖像的自然效果較差。文獻[12]雖然明顯提升了圖像的對比度，但是欠增強依然明顯，部分原本處于暗區(qū)的細節(jié)因欠增強而消失。文獻[11]和[13]雖然都有效地提升了圖像的對比度，但是文獻[11]的亮度偏高，呈現(xiàn)泛白現(xiàn)象，而文獻[13]的整體亮度不足。相對地，本文方法在對比度和亮度適宜度上均優(yōu)于其他算法。

圖4 場景一各算法的增強效果

圖5 場景二各算法的增強效果

圖6 場景三各算法的增強效果

本文方法基于改進雙邊濾波的Retinex分解對圖像進行增強，為了驗證改進的雙邊濾波對紅外圖像增強的作用，將本文方法所用的改進雙邊濾波撤換為標準雙邊濾波，標識為本文方法1，而原來方法標識為本文方法2，將兩方法應(yīng)用于3幅場景紅外圖像，增強效果如圖7所示。為了清晰顯示，只顯示其放大的區(qū)域圖。根據(jù)增強圖像的視覺效果，明顯可以看出，本文方法2在圖像的紋理細節(jié)的保持和增強上優(yōu)于本文方法1。改進的雙邊濾波的加權(quán)系數(shù)自適應(yīng)于平滑區(qū)域和細節(jié)區(qū)域，具有更好的魯棒性，比標準的雙邊濾波能更有效地保持圖像的紋理和細節(jié)。

圖7 改進的雙邊濾波對三個場景的增強效果

為了更準確而客觀地比較各算法的增強效果，將各算法對3個場景圖像增強后的信息熵列于表1。文獻[7]對應(yīng)的信息熵較高，這完全是由于其過增強所造成，圖像的自然效果已被破壞。文獻[11]的信息熵相對于原圖像有所提高，但不明顯。文獻[12]的信息熵比文獻[11]高一點，但是其信息熵如此之高是由于過增強所致。相對地，文獻[13]和本文方法對場景圖像增強后的信息熵相對原圖像有較大的提高，且以本文方法為最高。

表1 各算法對三個場景圖像增強的信息熵

5 結(jié)論

為避免紅外圖像增強中出現(xiàn)欠增強、過增強以及對比度不高，提出了自適應(yīng)雙邊濾波與方向梯度的紅外圖像增強方法。用改進的雙邊濾波提取紅外圖像的基礎(chǔ)層和細節(jié)層，對基礎(chǔ)層進行自適應(yīng)的平臺直方圖均衡化，對細節(jié)層進行方向邊緣增強。實驗結(jié)果表明，相對于部分最新提出的方法，本文方法的增強效果更優(yōu)，增強圖像的視覺效果更清晰，紋理細節(jié)更豐富。

[1] 韋瑞峰, 趙榮普, 徐肖慶, 等. 基于直方圖的紅外圖像細節(jié)增強算法研究[J]. 紅外技術(shù), 2016, 38(6): 472-475.

WEI R, ZHAO R, XU X, et al. Infrared image detail enhancement based on histogram[J]., 2016, 38(6): 472-475.

[2] WANG Y, WANG X, LI B, et al. Infrared image enhancement method for color transfer and contrast equalization in image registration[C]//, 2017, 10462: 1046258.

[3] Chaudhury S, Roy A. Histogram equalization-a simple but efficient technique for image enhancement[J].,, 2013, 5(10): 55-62.

[4] Aquino-Mori′nigo P, Lugo-Soli′s F, Pinto-Roa D, et al. Bi-histogram equalization using two plateau limits[J].,, 2017, 11(5): 857-864.

[5] Faraj N, Abood L. Contrast enhancement of infrared images using adaptive histogram equalization (AHE) with contrast limited adaptive histogram equalization[J]., 2018, 16(37): 127-135.

[6] Ashiba M, Tolba M, El-Fishawy A, et al. Gamma correction enhancement of infrared night vision images using histogram processing[J]., 2019, 78(19): 27771-27783.

[7] LIU C, SUI X, KUANG X, et al. Optimized contrast enhancement for infrared images based on global and local histogram specification[J]., 2019, 11(7): 849.

[8] 呂侃徽, 張大興. 基于自適應(yīng)直方圖均衡化耦合拉普拉斯變換的紅外圖像增強算法[J]. 光學(xué)技術(shù), 2021, 47(6): 747-753.

LV K, ZHANG D. Infrared image enhancement algorithm based on adaptive histogram equalization coupled with Laplace transform[J]., 2021, 47(6): 747-753.

[9] LI Y, ZHANG Y, NIAN L, et al. Infrared image enhancement method based on scale varies Retinex theory[J]., 2016, 31(1): 104-111.

[10] CHEN J, YANG X, LU L, et al. A novel infrared image enhancement based on correlation measurement of visible image for urban traffic surveillance systems[J]., 2020, 24(3): 290-303.

[11] 魏然然, 詹偉達, 朱德鵬, 等. 改進多尺度的Retinex紅外圖像增強[J]. 液晶與顯示, 2021, 36(3): 465-474.

WEI R, ZHAN W, ZHU D, et al. Improved multi-scale Retinex infrared image enhancement[J]., 2021, 36(3): 465-474.

[12] LV J, DENG B, LU Y. A new detail enhancement method for high dynamic range infrared image[J].:, 2019, 1237(3): 032060.

[13] LI T, ZHAO J, WU X, et al. Infrared imaging enhancement through local window-based saliency extraction with spatial weight[J]., 2021, 15(12): 2910-2925.

[14] CHEN J, ZHAN Y, CAO H. Adaptive sequentially weighted median filter for image highly corrupted by impulse noise [J]., 2019, 7: 158545-158556.

[15] 凡遵林, 畢篤彥, 馬時平, 等. 亮度保持和細節(jié)增強的紅外圖像增強方法[J]. 中南大學(xué)學(xué)報(自然科學(xué)版), 2016, 47(6): 1967-1972.

FAN Z, BI D, MA, et al. Method for infrared image with brightness preservation and detail enhancement[J].(Science and Technology), 2016, 47(6): 1967-1972.

[16] LI S, JIN W, LI L, et al. An improved contrast enhancement algorithm for infrared images based on adaptive double plateaus histogram equalization[J]., 2018, 90: 164-174.

Infrared Image Enhancement Based on Adaptive Bilateral Filtering and Directional Gradient

NIE Fengying1，HOU Lixia1，WAN Liyong1,2

(1.,,330108,;2.,,,330022,)

To overcome the defects of existing infrared image enhancement methods, such as under-enhancement, over-enhancement, and low contrast, an infrared image enhancement method based on adaptive bilateral filtering and directional gradient is proposed. The bilateral filter was improved, and its weighting coefficient is now adaptive to smooth and detailed regions. The improved bilateral filter is used as the central surround function of Retinex to decompose the infrared image into a base layer and a detail layer. Using improved platform histogram equalization, the base layer image is enhanced, and a directional gradient operator is proposed to extract the gradient image of the detail layer image to perform nonlinear adaptive edge enhancement on the detail-layer image. Experimental results show that, compared with existing methods, the proposed method can improve the brightness and contrast of infrared images more effectively. In addition, the visual effect of enhanced images using this method is better.

infrared image enhancement, platform histogram, adaptive bilateral filtering, directional gradient operator, Retinex

TP391

A

1001-8891(2022)12-1309-07

2022-01-25；

2022-03-22.

聶豐英（1982-），女，江西豐城人，碩士，副教授，研究方向為圖像處理與數(shù)據(jù)庫技術(shù)。

萬里勇（1976-），男，江西東鄉(xiāng)人，博士，教授，研究方向為圖像處理、移動邊緣計算和智能信息處理，E-mail：wanliyong@163.com。

2021年江西省教育廳科學(xué)技術(shù)研究項目（GJJ212517）；2021年教育部產(chǎn)學(xué)合作協(xié)同育人項目（202102450009）；2020年省教育廳科技技術(shù)項目（GJJ202506）；江西省教育科學(xué)“十三五”規(guī)劃2019年度課題（19YB266）；南昌工學(xué)院機器人與智能系統(tǒng)研究中心項目（NGYZY-20-005）。