基于自適應(yīng)條件直方圖均衡的紅外圖像細(xì)節(jié)增強(qiáng)算法

馬 群，趙美蓉，鄭葉龍，孫 琳，倪 鋒

基于自適應(yīng)條件直方圖均衡的紅外圖像細(xì)節(jié)增強(qiáng)算法

馬 群1,2，趙美蓉1，鄭葉龍1，孫 琳2，倪 鋒2

（1. 天津大學(xué) 精密儀器與光電子工程學(xué)院，天津 300072；2. 天津津航技術(shù)物理研究所，天津 300308）

紅外圖像普遍存在對(duì)比度低、細(xì)節(jié)不清晰、邊緣特征不突出等問題。針對(duì)這些問題，本文提出了一種自適應(yīng)條件直方圖均衡的紅外圖像細(xì)節(jié)增強(qiáng)算法。采用引導(dǎo)濾波將紅外圖像分解為背景層和細(xì)節(jié)層；然后采用自適應(yīng)閾值鄰域條件直方圖結(jié)合對(duì)比度受限直方圖均衡方式，對(duì)背景層圖像進(jìn)行灰度壓縮和對(duì)比度增強(qiáng)；接著利用引導(dǎo)濾波的中間計(jì)算結(jié)果構(gòu)造濾噪掩模，在對(duì)細(xì)節(jié)層進(jìn)行增強(qiáng)的同時(shí)有效濾除背景噪聲；最后將背景層和細(xì)節(jié)層處理結(jié)果進(jìn)行線性融合得到細(xì)節(jié)增強(qiáng)后紅外圖像。主觀評(píng)價(jià)和客觀數(shù)據(jù)計(jì)算表明，本文提出的紅外圖像細(xì)節(jié)增強(qiáng)算法無須手動(dòng)調(diào)節(jié)參數(shù)即可實(shí)現(xiàn)對(duì)各類場(chǎng)景的自適應(yīng)，可以在抑制噪聲的前提下，有效增強(qiáng)圖像細(xì)節(jié)，并提升圖像整體對(duì)比度水平。對(duì)算法進(jìn)行了嵌入式移植，顯示效果和資源占用表明算法具有很強(qiáng)的工程化應(yīng)用水平。

紅外圖像增強(qiáng)；引導(dǎo)濾波；直方圖均衡；嵌入式移植

0 引言

紅外成像技術(shù)在武器制導(dǎo)、工業(yè)檢測(cè)、輔助駕駛等軍事、民用領(lǐng)域應(yīng)用廣泛[1-3]。受探測(cè)器成像機(jī)理和制造工藝限制，相對(duì)于可見光圖像，紅外圖像對(duì)比度偏低，噪聲較大，且灰度范圍較窄[4]。此外，紅外探測(cè)器輸出圖像一般為14bit，需要轉(zhuǎn)換為8bit便于顯示器顯示及人眼觀察。因此，紅外圖像增強(qiáng)是紅外圖像可視化過程中不可避免的關(guān)鍵預(yù)處理步驟[5]。紅外圖像增強(qiáng)主要針對(duì)數(shù)字圖像進(jìn)行處理，從原理上可以大致歸納為兩個(gè)主要方向，即基于直方圖增強(qiáng)的數(shù)字細(xì)節(jié)增強(qiáng)方法，以及基于非銳化掩模的數(shù)字細(xì)節(jié)增強(qiáng)方法。

在圖像增強(qiáng)領(lǐng)域，直方圖均衡（Histogram Equalization, HE）是最為經(jīng)典的算法之一，應(yīng)用廣泛。但是，傳統(tǒng)的HE處理后的紅外圖像背景區(qū)域被過放大而細(xì)節(jié)區(qū)域則被抑制，無法得到理想的增強(qiáng)效果。為了克服HE的缺陷，眾多的改進(jìn)型和衍生算法被陸續(xù)提出。Vickers[6]、Kun Liang[7]分別提出了直方圖平臺(tái)均衡化方法（Plateau Histogram Equalization, PHE）和雙平臺(tái)直方圖均衡（Double Plateaus Histogram Equalization, DPHE）方法，通過設(shè)置平臺(tái)閾值，在有效抑制紅外圖像背景過增強(qiáng)的同時(shí)有效保留了圖像細(xì)節(jié)成分，Liu Chengwei[8]提出了一種鄰域條件直方圖算法（Neighborhood Conditional Histogram Equalization, NCHE），基于鄰域像素灰度變化特征進(jìn)行直方圖統(tǒng)計(jì)，避免背景噪聲的過放大。為了充分利用圖像的局部區(qū)域特征，凸顯細(xì)節(jié)信息，人們提出了局部直方圖均衡化算法。對(duì)比度受限自適應(yīng)直方圖均衡化（Contrast Limited Adaptive Histogram Equalization, CLAHE）[9]和部分重疊子塊直方圖均衡化（Partially Overlapped Sub-block Histogram Equalization, POSHE）[10]是其典型代表，CLAHE算法將圖像分為多個(gè)不重疊的子塊，每個(gè)子塊設(shè)置灰度級(jí)概率分布閾值，將超過該閾值的直方圖部分裁下并在整個(gè)灰度級(jí)上均勻分布，在降低高直方圖灰度級(jí)的同時(shí)，提高低直方圖灰度級(jí)比重，從而凸顯細(xì)節(jié)紋理，通過在子塊間進(jìn)行雙線性插值避免整體圖像出現(xiàn)“塊狀”分割；POSHE算法將圖像分為若干個(gè)相互重疊的子塊，每個(gè)子塊分別進(jìn)行直方圖均衡，通過給相鄰子塊添加權(quán)重值實(shí)現(xiàn)處理圖像整體的視覺連續(xù)性。

直方圖均衡相關(guān)方法雖然能增強(qiáng)紅外圖像整體對(duì)比度，但是無法有效凸顯圖像邊緣特征，因此，基于圖像分層思想的非銳化掩模（Unsharp Mask, UM）方法在紅外圖像增強(qiáng)方向得到了大量應(yīng)用。Barash等[11]提出了雙邊濾波器（Bilateral Filter, BF），在有效提取圖像細(xì)節(jié)的前提下可以有效防止邊緣過度增強(qiáng)，但算法耗時(shí)嚴(yán)重，不利于實(shí)時(shí)實(shí)現(xiàn)；Francesco等[12]提出了雙邊濾波結(jié)合動(dòng)態(tài)范圍劃分（Bilateral Filter and Dynamic Range Partitioning, BF&DRP）方法，對(duì)動(dòng)態(tài)范圍較大的圖像基頻分量進(jìn)行壓縮，但圖像細(xì)節(jié)部分噪聲過放大的問題仍然存在；左超等[13]提出了基于BF&DRP的改進(jìn)方法，通過對(duì)雙邊濾波后的基頻圖像分量增加一級(jí)自適應(yīng)高斯濾波，有效抑制圖像強(qiáng)邊緣經(jīng)雙邊濾波器后產(chǎn)生的梯度翻轉(zhuǎn)效應(yīng)，但仍然沒有完全消除圖像邊緣的梯度翻轉(zhuǎn)現(xiàn)象，且雙邊濾波器計(jì)算量較大，對(duì)嵌入式移植造成了較大的限制；Frederic等[14]采用引導(dǎo)濾波器結(jié)合分段直方圖增強(qiáng)的方式進(jìn)行圖像增強(qiáng)，取得了較好的處理效果，但是仍缺少有效的背景噪聲抑制機(jī)制，導(dǎo)致圖像底噪較大。汪子君[15]等利用自適應(yīng)門限方法對(duì)引導(dǎo)濾波后的基礎(chǔ)層進(jìn)行灰度壓縮，但存在部分場(chǎng)景自適應(yīng)閾值選擇不當(dāng)導(dǎo)致的過曝現(xiàn)象。胡家琿[16]等采用多尺度加權(quán)引導(dǎo)濾波進(jìn)行圖像分層，將圖像分為背景層和多個(gè)細(xì)節(jié)層，再分別進(jìn)行灰度變換，有效解決了圖像細(xì)節(jié)模糊、邊緣紋理不清晰問題，但是計(jì)算量復(fù)雜，較難進(jìn)行嵌入式移植。

針對(duì)上述各類算法的不足，本文將非銳化掩模和直方圖增強(qiáng)方式進(jìn)行綜合，提出一種基于自適應(yīng)條件直方圖均衡的紅外圖像細(xì)節(jié)增強(qiáng)算法，利用引導(dǎo)濾波將圖像分離為背景層和細(xì)節(jié)層；針對(duì)背景層圖像，采用自適應(yīng)閾值鄰域條件直方圖結(jié)合對(duì)比度受限直方圖均衡方式增強(qiáng)，有效提升圖像對(duì)比度水平；針對(duì)細(xì)節(jié)層圖像，利用引導(dǎo)濾波中間結(jié)果生成濾噪掩模，在有效抑制背景噪聲的同時(shí)對(duì)圖像邊緣和細(xì)節(jié)部分進(jìn)行增強(qiáng)；最后將細(xì)節(jié)層和背景層圖像加權(quán)融合，生成細(xì)節(jié)增強(qiáng)圖像。

1 算法流程

本文算法以非銳化掩模圖像分層處理為基礎(chǔ)，結(jié)合改進(jìn)的直方圖增強(qiáng)方式實(shí)現(xiàn)紅外圖像細(xì)節(jié)增強(qiáng)，具體算法流程如圖1所示。對(duì)于輸入的原始14bit圖像IN，將其分別送入兩個(gè)并行的引導(dǎo)濾波得到14bit背景層圖像B和14bit濾噪圖像F，而細(xì)節(jié)層圖像D由B和F相減得到，即：

D＝B－F(1)

對(duì)背景層圖像B，分別經(jīng)限制對(duì)比度直方圖均衡處理和鄰域條件直方圖處理，得到直方圖均衡化8bit圖像BCLAHE和NCHE，將兩個(gè)直方圖均衡通道輸出的圖像通過自適應(yīng)背景層權(quán)重B加權(quán)疊加得到8bit背景層圖像BO。用引導(dǎo)濾波1和引導(dǎo)濾波2的中間計(jì)算結(jié)果得到濾噪掩模，對(duì)細(xì)節(jié)層圖像D進(jìn)行帶掩模放大處理得到細(xì)節(jié)放大圖像DP，再經(jīng)過自適應(yīng)增益控制得到8bit細(xì)節(jié)層圖像DO。將BO和DO進(jìn)行加權(quán)疊加得到融合圖像C，后將C通過線性拉伸和亮度調(diào)整，得到最終的紅外細(xì)節(jié)增強(qiáng)圖像OUT。

圖1 本文算法流程

2 基于引導(dǎo)濾波的圖像分層和掩模濾噪

2.1 引導(dǎo)濾波圖像分層

引導(dǎo)濾波（Guided Filter, GF）[17]是一種基于局部線性模型的平滑濾波器，可以在保持圖像邊緣的條件下進(jìn)行圖像平滑，且避免出現(xiàn)梯度反轉(zhuǎn)現(xiàn)象，其計(jì)算公式如下：

圖2為不同的選擇下，背景層和細(xì)節(jié)層劃分效果，在盡可能保留原圖像細(xì)節(jié)成分，并避免細(xì)節(jié)層邊緣過放大的前提下，1和2選擇25和500可以得到理想的細(xì)節(jié)圖像輸出。

2.2 掩模濾噪

由式(2)可知，引導(dǎo)濾波器的輸出圖和引導(dǎo)圖滿足局部線性關(guān)系，對(duì)式(1)求導(dǎo)有：

圖3 引導(dǎo)濾波增益系數(shù)、和掩模p輸出結(jié)果

從圖3可以看出，歸一化后的掩模相較于圖3(a)濾除了大量的背景噪聲，相較于圖3(b)很好地保留了圖像的邊緣細(xì)節(jié)成分。將掩模作用于細(xì)節(jié)圖像D，并與14bit細(xì)節(jié)層放大增益系數(shù)相乘，得到14bit細(xì)節(jié)增強(qiáng)圖像DP，如式(7)所示：

DP＝××D(7)

至此，經(jīng)過導(dǎo)向?yàn)V波和掩模處理，得到了紅外圖像14bit背景層B和細(xì)節(jié)層DP，需要將兩層圖像進(jìn)行灰度壓縮，分別生成可觀察的8bit圖像。

3 背景層灰度壓縮方法

3.1 自適應(yīng)條件直方圖均衡

本文借鑒文獻(xiàn)[8]的處理方法對(duì)背景層進(jìn)行灰度壓縮，采用鄰域條件直方圖增強(qiáng)方法對(duì)圖像進(jìn)行處理，在統(tǒng)計(jì)某個(gè)灰度級(jí)像素直方圖計(jì)算中增加了中心像素和鄰域像素差值的權(quán)重信息，使得圖像邊緣等灰度梯度較大的細(xì)節(jié)部分獲得較大的統(tǒng)計(jì)權(quán)重，而圖像背景等灰度平坦區(qū)域獲得較小的統(tǒng)計(jì)權(quán)重，如式(8)所示：

式中：代表中心像素的方形鄰域半徑；r＝(2＋1)2為方形鄰域內(nèi)的總像素?cái)?shù)；為閾值常數(shù)；1(,,)為二值函數(shù)，定義為：

鄰域條件直方圖增強(qiáng)效果如圖4所示。

圖4 普通直方圖增強(qiáng)(a)和鄰域條件直方圖增強(qiáng)(b)效果對(duì)比

從圖4所示的直方圖增強(qiáng)對(duì)比效果看，采用鄰域條件直方圖增強(qiáng)的圖像整體對(duì)比度更強(qiáng)，圖像層次感更好。然而鄰域條件直方圖對(duì)條件閾值的選擇具有較強(qiáng)的依賴性，如圖5所示。

圖5 不同閾值t選擇和背景層圖像輸出關(guān)系

從圖5可以看到，對(duì)于場(chǎng)景較豐富的圖像，設(shè)置較高的閾值可以表現(xiàn)出更好的對(duì)比度層次；但是對(duì)于場(chǎng)景較單一的圖像（如地下車庫(kù)），導(dǎo)向?yàn)V波后背景層存在大量平坦區(qū)域，若設(shè)置過高，經(jīng)過直方圖統(tǒng)計(jì)后，大量灰度概率密度被壓縮為0，從而丟失大量的圖像信息。

從式(9)可知，閾值的選擇和像素鄰域的差值的L1范數(shù)相關(guān)，而在區(qū)域內(nèi)，圖像的局部方差可表示為：

式中：為區(qū)域內(nèi)像素均值；為區(qū)域內(nèi)像素。而對(duì)于紅外圖像，若以區(qū)域中心像素近似替代，則有：

結(jié)合式(9)和(11)，可知閾值像素鄰域的差值的L2范數(shù)相關(guān)。根據(jù)參考文獻(xiàn)[18]，當(dāng)區(qū)域包含的像素足夠大（r≥9），可以用全局方差近似局部方差，因此，可以根據(jù)輸入圖像的方差I自適應(yīng)調(diào)整的取值。

利用紅外熱像儀采集各類典型14bit紅外圖像100幅，包含復(fù)雜場(chǎng)景，明暗交界場(chǎng)景，均勻場(chǎng)景等，如圖6所示。

圖6 用于閾值t分析的不同場(chǎng)景，圖(a)～(g)分別為地下車庫(kù)、地下車庫(kù)出口、逆光建筑、夜晚行人、夜晚建筑、測(cè)試用四桿靶標(biāo)、室內(nèi)近景、室內(nèi)人物場(chǎng)景

根據(jù)不同場(chǎng)景的輸入圖像方差，采用分段線性的方式建立其與鄰域條件直方圖閾值的關(guān)系，如式(12)所示：

式中：1、2和3是根據(jù)圖像方差設(shè)置的分段劃分閾值，分別設(shè)置為20、100和200；1、2和3為根據(jù)劃分閾值設(shè)置的斜率，確保分段曲線連續(xù)，分別為0.1、0.0375和0.04，最大上限設(shè)置為10，避免過大造成灰度消失。

對(duì)不同場(chǎng)景紅外圖像背景圖鄰域條件直方圖增強(qiáng)后輸出BNCHE如圖7所示。

圖7 不同場(chǎng)景背景圖鄰域條件直方圖輸出結(jié)果

3.2 限制對(duì)比度自適應(yīng)直方圖均衡化疊加

從圖7可以看出，對(duì)于復(fù)雜場(chǎng)景圖像，閾值較高，背景圖像的增強(qiáng)效果較好，圖像輪廓較分明，而低對(duì)比度圖像，閾值相對(duì)較低，灰度壓縮效果更接近普通直方圖增強(qiáng)效果，導(dǎo)致背景噪聲出現(xiàn)了放大。論文采用限制對(duì)比度自適應(yīng)直方圖均衡化（CLAHE）算法，與鄰域條件直方圖處理背景圖結(jié)果疊加，可以有效解決低對(duì)比度場(chǎng)景的背景圖噪聲放大問題。

CLAHE算法采用分塊方式對(duì)每塊區(qū)域單獨(dú)進(jìn)行直方圖均衡，同時(shí)對(duì)對(duì)比度進(jìn)行限制，有效避免背景過增強(qiáng)，其機(jī)理如圖8所示。

圖8 限制對(duì)比度直方圖調(diào)整示意圖[8]

利用CLAHE對(duì)背景層圖像B進(jìn)行調(diào)整，得到限制對(duì)比度自適應(yīng)直方圖增強(qiáng)背景圖像BCLAHE。最終將背景層圖像輸出BNCHE和BCLAHE進(jìn)行加權(quán)平均，權(quán)重系數(shù)B為鄰域條件直方圖閾值歸一化至[0, 0.5]區(qū)間的數(shù)值，即：

BO＝B×BNCHE＋(1－B)×BCLAHE(13)

圖7所示的原始紅外圖像，經(jīng)過式(13)處理的效果如圖9所示。

從圖9可以看出，結(jié)合鄰域條件直方圖和限制對(duì)比度自適應(yīng)直方圖增強(qiáng)后，對(duì)各類不同場(chǎng)景，紅外圖像背景層保持了較好的對(duì)比度增強(qiáng)效果，層次分明，同時(shí)避免了背景噪聲放大。

4 細(xì)節(jié)層對(duì)比度調(diào)整及圖像融合

對(duì)2.2節(jié)得到的細(xì)節(jié)圖像DP，采用自適應(yīng)增益控制方式進(jìn)行轉(zhuǎn)化，首先將細(xì)節(jié)層圖像拉伸至[0, 255]灰度范圍，如式(14)所示：

式中：DP_min、DP_max分別是細(xì)節(jié)圖像DP的最小和最大灰度值，對(duì)于8bit圖像轉(zhuǎn)換，為256，再通過線性拉伸，對(duì)細(xì)節(jié)層圖像做進(jìn)一步地增益和亮度控制，有：

C＝(1－L)×BO＋L×DO(16)

L的取值可根據(jù)細(xì)節(jié)層增強(qiáng)的效果調(diào)整，一般取值為[0.3, 0.5]。對(duì)輸出圖像亮度進(jìn)行最終調(diào)節(jié)，減去疊加圖像灰度均值和細(xì)節(jié)層亮度系數(shù)的差值，得到最終增強(qiáng)圖像輸出，如式(17)所示：

5 實(shí)驗(yàn)結(jié)果與分析

將論文算法和自適應(yīng)增益控制算法（Adaptive Gain Control, AGC）、雙平臺(tái)直方圖算法（DPHE）、雙邊濾波器圖像增強(qiáng)算法（BF & DPR）[11]、引導(dǎo)濾波結(jié)合分段直方圖拉伸算法（Guided Filtering and Adaptive Histogram Projection, GF & AHP）[19]進(jìn)行對(duì)比，針對(duì)不同場(chǎng)景紅外圖像進(jìn)行處理。

選擇了3個(gè)不同場(chǎng)景進(jìn)行對(duì)比，場(chǎng)景1、2為制冷型紅外成像系統(tǒng)采集到的圖像，圖像分辨率為640×512，場(chǎng)景3為非制冷紅外成像系統(tǒng)采集的圖像，分辨率為384×288。AGC算法采用[1%, 99%]范圍的概率密度直方圖灰度級(jí)進(jìn)行線性灰度壓縮；DPHE算法設(shè)置的平臺(tái)直方圖高低閾值1、2分別為800和3；BF&DRP算法參數(shù)s、r分別為25和100，背景圖像和細(xì)節(jié)圖像的伽馬變換取值為0.9和1.2；對(duì)于GF&AHP算法，選擇的引導(dǎo)濾波參數(shù)為2000，細(xì)節(jié)層濾波掩模引導(dǎo)濾波參數(shù)￠為500，掩模線性拉伸參數(shù)和分別為2.5和0.2；本文算法兩級(jí)導(dǎo)向?yàn)V波參數(shù)1和2分別為25和500，14bit細(xì)節(jié)層放大增益取5，8bit細(xì)節(jié)層線性拉伸增益D和亮度D分別取2.0和100，背景層CLAHE圖像分塊為[8,8]，灰度門限設(shè)置為1%，細(xì)節(jié)層和背景層疊加權(quán)重L取0.3。成像效果如圖10～12所示。

圖10 場(chǎng)景1：制冷型熱像儀室內(nèi)高對(duì)比度場(chǎng)景各算法處理結(jié)果：圖(a)～(e)分別代表AGC、DPHE、BF&DRP、GF&AHP和本文算法處理結(jié)果

場(chǎng)景1中，高溫目標(biāo)和低溫背景同時(shí)出現(xiàn)，圖10中AGC算法對(duì)灰度級(jí)進(jìn)行了線性壓縮，對(duì)于灰度值較低的背景，灰度壓縮損失了大量的細(xì)節(jié)，導(dǎo)致背景圖像無法顯示；DPHE算法有效解決了背景丟失的問題，但烙鐵附近的灰度級(jí)出現(xiàn)了過飽和現(xiàn)象，手部的細(xì)節(jié)信息出現(xiàn)丟失；BF&DRP算法過增強(qiáng)現(xiàn)象比較明顯，且邊緣輪廓梯度反轉(zhuǎn)現(xiàn)象較明顯；GF&AHP算法很好地對(duì)灰度級(jí)進(jìn)行了拉伸，保留了一定的細(xì)節(jié)成分，但是細(xì)節(jié)增強(qiáng)效果較弱；本文算法取得了較好的效果，高亮目標(biāo)和背景圖像都得到了充分的呈現(xiàn)，圖像細(xì)節(jié)成分，如手部關(guān)節(jié)、直流電源標(biāo)簽、散熱窗口等信息體現(xiàn)得較為清楚，圖像整體對(duì)比度明顯。

圖11 場(chǎng)景2：制冷型熱像儀室外場(chǎng)景各算法處理結(jié)果：圖(a)～(e)分別代表AGC、DPHE、BF&DRP、GF&AHP和本文算法處理結(jié)果

圖12 場(chǎng)景3：非制冷型熱像儀夜間場(chǎng)景各算法處理結(jié)果：圖(a)～(e)分別代表AGC、DPHE、BF&DRP、GF&AHP和本文算法處理結(jié)果

圖11所示的場(chǎng)景2中，AGC算法較好地保持了原始圖像的對(duì)比度信息，但對(duì)于遠(yuǎn)處建筑物細(xì)節(jié)凸顯不足，近處陽(yáng)光照射下的平臺(tái)出現(xiàn)了飽和；DPHE算法出現(xiàn)了明顯的過曝近況，圖像整體灰度偏亮；BF&DRP算法表現(xiàn)相對(duì)較好，但是對(duì)于遠(yuǎn)處建筑物上的字體增強(qiáng)效果不佳，出現(xiàn)了一定的模糊；GF&AHP算法對(duì)于遠(yuǎn)處建筑物上的字體和近處樹木的細(xì)節(jié)表現(xiàn)較好，但是陽(yáng)光照射下的平臺(tái)仍然存在飽和情況；本文算法對(duì)于遠(yuǎn)處建筑物及上面的字體，近處陽(yáng)光照射下的平臺(tái)，以及樹木細(xì)節(jié)均做到了較好的呈現(xiàn)，整體視覺效果最佳。

非制冷夜間場(chǎng)景紅外圖像對(duì)比度較低，受限于非制冷紅外探測(cè)器的成像機(jī)制，圖像背景會(huì)出現(xiàn)較多的噪聲，因此，噪聲水平的控制也是評(píng)價(jià)算法效果的重要因素，圖12中，AGC算法、DPHE算法和BF&DRP算法的圖像輸出均包含了較多的噪聲；GF&AHP和本文算法對(duì)于圖像輸出噪聲控制較好，而本文算法在行人目標(biāo)的細(xì)節(jié)呈現(xiàn)方面效果更優(yōu)。

本文使用邊緣強(qiáng)度、無參考結(jié)構(gòu)清晰度和亮度次序誤差3種客觀定量評(píng)價(jià)標(biāo)準(zhǔn)對(duì)比上述不同算法的性能。

邊緣強(qiáng)度（Counter-Volume, CV）能夠反映圖像灰度出現(xiàn)階躍變化部分的幅值，表征了圖像的清晰程度，如式(18)、(19)所示，和為圖像尺寸。

無參考結(jié)構(gòu)清晰度（No Reference Structural Sharpness, NRSS）通過結(jié)構(gòu)相似性測(cè)量指標(biāo)（Structural Similarity Index, SSIM）獲取，定義為：

亮度順序誤差（Lightness Order Error, LOE）主要用來衡量圖像的自然程度。LOE值越小，代表處理后的圖像與原圖像的明暗特征更為接近，對(duì)于圖像中的每個(gè)像素(,)，其亮度順序誤差定義為：

式中：和分別代表輸入圖像和增強(qiáng)后圖像，為了減小計(jì)算量，對(duì)原圖像和進(jìn)行下采樣得到D和D，×為下采樣后圖像尺寸，論文中將和設(shè)置為原圖像行和列數(shù)值的1/16，(,)為二值化函數(shù)；⊕為異或操作符。

利用上述3個(gè)指標(biāo)對(duì)3個(gè)不同場(chǎng)景不同算法的增強(qiáng)效果進(jìn)行計(jì)算，結(jié)果匯總?cè)绫?所示。

表1 不同算法圖像增強(qiáng)效果定量評(píng)價(jià)表

表1匯總了不同場(chǎng)景的各算法處理結(jié)果，用加粗字體標(biāo)注了CV、NRSS的最大值和LOE的最小值，可以看到，在CV和NRSS指標(biāo)中，本文算法均優(yōu)于其他各類算法。LOE指標(biāo)中，最低的數(shù)值是AGC算法結(jié)果，但考慮到AGC算法屬于線性灰度壓縮，邊緣增強(qiáng)效果較弱，因此相較于表中其他圖像增強(qiáng)方式會(huì)出現(xiàn)較好的亮度一致性，而其余4種算法均為非線性灰度壓縮，本文算法在非線性灰度壓縮中仍然保持著最好的亮度一致性。對(duì)比上述算法評(píng)價(jià)結(jié)果，本文算法不僅可以取得較好的增強(qiáng)效果，同時(shí)可以較好地保留待增強(qiáng)圖像的明暗特性。

將算法在某款非制冷成像系統(tǒng)上進(jìn)行FPGA移植，F(xiàn)PGA型號(hào)為Altera公司的CycloneV：5CEFA5U19I7，輸入圖像方差需要緩存紅外原始圖像，具體實(shí)現(xiàn)利用前一幀圖像方差作為當(dāng)前幀圖像方差參與后續(xù)計(jì)算；針對(duì)引導(dǎo)濾波，根據(jù)輸入的正則化因子在內(nèi)存中預(yù)先生成查找表，計(jì)算過程采用流水線處理，選擇的窗口大小為3×3，利用3組FIFO緩存行數(shù)據(jù)，在當(dāng)前幀完成處理。利用外部DDR芯片緩存引導(dǎo)濾波后14bit細(xì)節(jié)層和背景層圖像，直方圖統(tǒng)計(jì)部分按照?qǐng)D像分塊輸入，統(tǒng)計(jì)14bit背景層圖像每塊像素點(diǎn)數(shù)量，完成統(tǒng)計(jì)后分別送鄰域條件判斷直方圖模塊和限制對(duì)比度直方圖模塊，完成塊直方圖的整合和直方圖調(diào)整，并根據(jù)圖像方差結(jié)果加權(quán)疊加生成8bit背景層圖像；最后14bit細(xì)節(jié)層圖像進(jìn)行線性灰度拉伸，轉(zhuǎn)換成8bit圖像，和8bit背景層圖像加權(quán)疊加得到最終圖像。實(shí)現(xiàn)數(shù)字細(xì)節(jié)增強(qiáng)共消耗可編程邏輯單元6538個(gè)，M10K使用135塊，DSP Blocks使用41個(gè)，資源消耗情況如表2所示。

表2 數(shù)字細(xì)節(jié)增強(qiáng)模塊FPGA資源消耗

圖13為嵌入式移植后采集的8bit細(xì)節(jié)增強(qiáng)室內(nèi)外圖像顯示效果。

圖13 嵌入式移植效果

從圖13可以看到，經(jīng)過FPGA移植后，非制冷熱像儀室內(nèi)外場(chǎng)景細(xì)節(jié)紋理過渡自然，圖像對(duì)比度較好，進(jìn)一步證明了算法在實(shí)際工程化應(yīng)用的有效性。

6 結(jié)論

本文分析了紅外圖像增強(qiáng)領(lǐng)域各類主要算法的優(yōu)缺點(diǎn)，提出了一種基于自適應(yīng)條件直方圖均衡的紅外圖像細(xì)節(jié)增強(qiáng)算法。算法利用兩個(gè)不同參數(shù)引導(dǎo)濾波，將紅外圖像分解為背景層和細(xì)節(jié)層，利用引導(dǎo)濾波中間計(jì)算結(jié)果生成濾噪掩模，在有效提升邊緣細(xì)節(jié)的同時(shí)抑制細(xì)節(jié)層噪聲放大；背景層則通過自適應(yīng)鄰域條件直方圖均衡結(jié)合限制對(duì)比度直方圖均衡方式進(jìn)行灰度壓縮，在有效提升圖像對(duì)比度水平的同時(shí)抑制背景噪聲；將細(xì)節(jié)層圖像和背景層圖像加權(quán)疊加得到增強(qiáng)后圖像。增強(qiáng)后的紅外圖像細(xì)節(jié)清晰、層次分明、噪聲抑制效果好，實(shí)驗(yàn)結(jié)果表明，本文算法從主觀視覺效果和客觀指標(biāo)評(píng)價(jià)兩方面均得到令人滿意的增強(qiáng)效果。最后對(duì)算法進(jìn)行了FPGA嵌入式移植，驗(yàn)證了算法的工程化應(yīng)用效果。

[1] 劉珂, 王煒強(qiáng), 李麗娟. 紅外成像制導(dǎo)技術(shù)在反隱身空空導(dǎo)彈上的應(yīng)用展望[J].航空兵器, 2022, 29(2): 60-65. LIU Ke, WANG Weiqiang, LI Lijuan. Application and prospect of infrared imaging guidance technology in anti-stealth air-to-air missiles [J]., 2022, 29(2): 60-65.

[2] 袁盼, 譚竹嫣, 張旭, 等. 工業(yè)氣體泄漏紅外成像檢測(cè)及差分光譜濾波檢測(cè)方法研究[J]. 紅外與激光工程, 2022, 51(8): 20210714. YUAN Pan, TAN Zhuyan, ZHANG Xu, et al. Research on infrared imaging detection and differential spectrum filtering detection methods for industrial gas leakage[J]., 2022, 51(8): 20210714.

[3] 曹志偉. 車載圖像行人檢測(cè)關(guān)鍵技術(shù)研究[D]. 北京: 北京郵電大學(xué), 2021. CAO Zhiwei. Research on Key Technologies of Pedestrian Detection in Vehicle-Borne Image[D]. Beijing: Beijing University of Posts and Telecommunications, 2021.

[4] 陳錢. 紅外圖像處理技術(shù)現(xiàn)狀及發(fā)展趨勢(shì)[J]. 紅外技術(shù), 2013, 35(6): 311-318. CHEN Qian. The status and development trend of infrared image processing technology[J]., 2013, 35(6): 311-318.

[5] HUANG Jun, MA Yong, ZHANG Ying, et al. Infrared image enhancement algorithm based on adaptive histogram segmentation[J]., 2017, 56(35): 9686-9697.

[6] Vickers V E. Plateau Equalization algorithm for realtime display of high-quality infrared imagery [J]., 1996, 35(7): 1921-1926.

[7] LIANG Kun, MA Yong, XIE Yue, et al. A new adaptive contrast enhancement algorithm for infrared images based on double plateaus histogram equalization[J]., 2012, 55(4): 309-315.

[8] LIU Chengwei, SUI Xiubao, KUANG Xiaodong, et al. Adaptive contrast enhancement for infrared images based on the neighborhood conditional histogram[J]., 2019, 11: 1381. Doi:10.3390/rs11111381.

[9] Zuiderveld K. Contrast limited adaptive histogram equalization[J/OL]., August, 1994: 474-485.https://dl.acm.org/doi/ 10.5555/180895.180940

[10] Joung Youn K, Lee Sup K, Seung Ho H. An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J]., 2001, 11(4): 475-484.

[11] Barash D. A fundamental relationship between bilateral filtering, adaptive smoothing, and the nonlinear diffusion equation[J]., 2002, 24: 844-848.

[12] Francesco B, Marco D and Giovanni C. New technique for the visualization of high dynamic range infrared images[J]., 2009, 48(9): 096401.

[13] ZUO C, CHEN Q, LIU N, et al. Display and detail enhancement for high-dynamic-range infrared images[J]., 2011, 50(12): 127401.

[14] Frederic G, Cedric S, Bruno M. Real-time visualization of high-dynamic-range infrared images based on human perception characteristics - noise removal, image detail enhancement and time consistency[C]//, 2015: 144-152.

[15] 汪子君, 羅淵貽, 蔣尚志, 等. 基于引導(dǎo)濾波的自適應(yīng)紅外圖像增強(qiáng)改進(jìn)算法[J]. 光譜學(xué)與光譜分析, 2020, 40(11): 3463-3467. WANG Zijun, LUO Yuanyi, JIANG Shangzhi, et al. An improved algorithm for adaptive infrared image enhancement based on guided filtering[J]., 2020, 40(11): 3463-3467.

[16] 胡家琿, 詹偉達(dá), 桂婷婷, 等. 基于多尺度加權(quán)引導(dǎo)濾波的紅外圖像增強(qiáng)方法[J]. 紅外技術(shù), 2022, 44(10): 1082-1088. HU Jiahui, ZHAN Weida, GUI Tingting, et al. Infrared image enhancement method based on multiscale weighted guided filtering[J]., 2022, 44(10): 1082-1088.

[17] HE Kaiming, SUN Jian, TANG Xiao. Guided image filtering[J]., 2012, 35(6): 1397-1409.

[18] 汪偉, 許德海, 任明藝. 一種改進(jìn)的紅外圖像自適應(yīng)增強(qiáng)方法[J]. 紅外與激光工程, 2021, 50(11): 20210086. WANG Wei, XU Dehai, REN Mingyi. An improved infrared image adaptive enhancement method[J]., 2021, 50(11): 20210086.

[19] LIU Ning, ZHAO Dongxue. Detail enhancement for high-dynamic-range infrared images based on guided image filter[J]., 2014, 67: 138-147.

Infrared Image Detail Enhancement Based on Adaptive Conditional Histogram Equalization

MA Qun1,2，ZHAO Meirong1，ZHENG Yelong1，SUN Lin2，NI Feng2

(1. School of Precision Instrument and Opto-Electronics Engineering, Tianjin University, Tianjin 300072, China;2. Jinhang Institute of Technical Physics, Tianjin 300308, China)

There are many problems with infrared images, such as low contrast, unclear details, and non-prominent edge features. To solve these problems, this study proposes an adaptive conditional histogram equalization algorithm for infrared image detail enhancement. First, the infrared image is decomposed into background and detail layers by a guided filter. Second, the combined adaptive threshold neighborhood condition histogram and contrast limited histogram equalization method are used to compress and enhance the gray level of the background image. Then a noise mask is constructed using the intermediate calculation results of the guided filter, which can effectively filter the background noise while enhancing the detail layer. Finally, the background and detail layer processing results are linearly fused to obtain a detail-enhanced infrared image. Subjective evaluation and objective data calculation show that the infrared image detail enhancement algorithm proposed in this paper realizes adaptation to various scenes without manual parameter adjustment, and can effectively enhance the image details and improve the overall contrast level of the image under the premise of suppressing noise. Embedded transplantation of the algorithm was performed, and the display effect and resource occupation show that the algorithm has strong engineering application prospects.

infrared image enhancement, guided filter, histogram equalization, embedded migration

TN215

A

1001-8891(2024)01-0052-09

2022-12-06；

2023-02-15.

馬群（1985-），男，天津市人，高工，博士研究生，主要從事紅外圖像處理及目標(biāo)識(shí)別等方面的研究。E-mail:maqun8358@163.com。

趙美蓉（1967-），女，河北武邑人，博士，教授，博士生導(dǎo)師，主要從事光電測(cè)控和視覺檢測(cè)方面的研究。E-mail: meirongzhao@tju.edu.cn。

教育部聯(lián)合基金項(xiàng)目（8091B022117）。