基于雙直方圖均衡算法的紅外圖像增強

閆 哲，蔣 礫，楊 帆，羅志斌，賈 贊，張 巍，朱洪洋，陳如造，朱光明，郭小軍，劉孟然

基于雙直方圖均衡算法的紅外圖像增強

閆 哲，蔣 礫，楊 帆，羅志斌，賈 贊，張 巍，朱洪洋，陳如造，朱光明，郭小軍，劉孟然

（昆明物理研究所，云南 昆明 650032）

為了抑制全局直方圖均衡產(chǎn)生的灰度飽和和局部細節(jié)丟失的情況，提出了一種雙直方圖均衡算法。首先對圖像的背景和前景進行分割，提出基于直方圖的局部最小值和修正的K-Means聚類算法來確定圖像的理想分割閾值，然后再對分割的子圖分別作全局直方圖均衡（Global Histogram Equalization，GHE）。對該算法進行了實驗驗證，結(jié)果表明，相較于GHE算法，經(jīng)該算法增強后的圖像峰值信噪比（Peak Signal to Noise Ratio，PSNR）提高約16.425%，結(jié)構(gòu)相似度（Structural Similarity Index，SSIM）提高約14.85%。同時通過主觀分析，基于直方圖局部最小值和修正的K-Means聚類算法的圖像分割進行雙直方圖均衡可以有效抑制GHE算法產(chǎn)生的灰度飽和和細節(jié)丟失現(xiàn)象。

圖像分割；雙直方圖均衡；K-Means；局部最小值

0 引言

紅外成像技術(shù)在國防、安防、應(yīng)急搶險、無損檢測、毒氣探測等領(lǐng)域應(yīng)用十分廣泛[1-3]。受限于紅外探測器的發(fā)展，紅外圖像具有分辨率低、對比度低、信噪比低等缺點[4]。克服紅外圖像固有的這些缺點，一是依賴于紅外探測器的發(fā)展；二是運用圖像增強技術(shù)對紅外圖像進行增強處理。后者具有成本低，容易迭代等優(yōu)點，所以研究紅外圖像增強算法具有重大意義。

基于直方圖修正的算法在紅外圖像增強中應(yīng)用比較廣泛。由于紅外圖像原始數(shù)據(jù)多為12～16bit[5-6]，而顯示設(shè)備的顯示寬度多為8bit，直方圖均衡算法將高位數(shù)據(jù)壓縮至低位數(shù)據(jù)。傳統(tǒng)的全局直方圖均衡算法（GHE）[7]可以有效提高圖像的對比度，由于其運算簡單、容易實現(xiàn)而被廣泛運用，但是GHE算法會產(chǎn)生過增強和細節(jié)丟失等現(xiàn)象。文獻[8]提出了平臺直方圖均衡（Plateau Histogram Equalization，PHE），對圖像直方圖添加上平臺，有效抑制了圖像的噪聲。在平臺直方圖的基礎(chǔ)上，文獻[9]提出了雙平臺直方圖均衡（Double Plateau Histogram Equalization，DPHE），對直方圖添加了上下兩個平臺，下平臺的添加可以有效保護圖像的細節(jié)信息，但是下平臺的添加也可能使圖像的對比度下降。針對上下平臺閾值的選擇多位學者進行了研究[10-12]。文獻[13]還提出了直方圖雙向均衡，不僅對直方圖在灰度密度方向進行均衡處理，也對直方圖在灰度間距方向進行了均衡處理。全局直方圖均衡是利用整幅圖像范圍內(nèi)的灰度累積分布函數(shù)進行映射計算，所以無法對局部細節(jié)進行有效的增強。局部直方圖均衡算法可以有效增強圖像局部細節(jié)。局部直方圖均衡算法（Local Histogram Equalization，LHE）[14]利用一個窗口在圖像上滑動，每滑動一次作一次直方圖均衡，該算法計算量大，很難在實時顯示系統(tǒng)中應(yīng)用。自適應(yīng)直方圖均衡算法（Adaptive Histgram Equalization，AHE）[15]和限制對比度的自適應(yīng)直方圖均衡算法（Contrast Limited Adaptive Histgram Equalization，CLAHE）[16]對圖像進行分塊，分別進行直方圖均衡，有效提高了圖像細節(jié)信息，但是產(chǎn)生了塊效應(yīng)。為了消除塊效應(yīng)，文獻[17]提出的了部分重疊子塊直方圖均衡（Partially Overlapped Sub-block Histogram Equalization，POSHE），將LHE算法中的窗口移動步長改為窗口寬度的一半。文獻[18]提出了均勻遞減子塊直方圖均衡（Completely Overlapped Uniformly Decrementing Sub-Block Histogram Equalization，COUDSHE），采用新的分塊模式。后者基本消除了塊效應(yīng)，前者則只是減輕了塊效應(yīng)。局部直方圖均衡的算法主要缺點是在增強細節(jié)的同時，也會把噪聲增強，運算量比全局直方圖均衡大，另外，消除塊效應(yīng)也需要額外的運算量。

為了克服全局直方圖均衡和局部直方圖均衡的缺點，雙直方圖均衡算法被廣泛使用。這類算法的思想是將圖像分割為前景和背景，分別進行直方圖均衡。針對分割閾值的選取，多位學者提出了選取方案。為了保持均衡前后亮度一致，文獻[19]將圖像的平均灰度作為分割閾值，此算法雖然可以保持增強前后亮度不變，但是前景和背景并不能很好地分離出來。文獻[20]基于最大熵和最大類間方差選取分割閾值。文獻[21]提出使用K-Means聚類算法選取分割閾值，此算法在保持了原圖像亮度的基礎(chǔ)上對圖像進行了增強。本文基于現(xiàn)有的圖像分割算法，提出了一種新的圖像分割模型，利用直方圖局部最小值與修正的K-Means聚類算法相結(jié)合的方法對圖像進行分割，進而對分割的子圖分別增強。此算法選擇出了理想的圖像分割閾值，克服了全局直方圖的過增強和細節(jié)丟失的缺點，同時也避免了局部直方圖的塊效應(yīng)。

1 相關(guān)算法

1.1 GHE

GHE算法是利用全局范圍內(nèi)各個灰度值出現(xiàn)的概率分布對圖像灰度進行重新分配，灰度值的累積概率分布函數(shù)可以將較窄的灰度范圍映射到較寬范圍，較寬的灰度范圍映射到較窄范圍，實現(xiàn)灰度直方圖的拉伸，提高圖像的對比度。其算法如下：

式中：為輸入圖像的像素個數(shù)；為像素的灰度值；＋1為輸入圖像的灰度等級；為輸出圖像的灰度級個數(shù)；()為灰度值為的點出現(xiàn)的概率；S為輸入圖像灰度值為的點的映射值。圖1展示了GHE映射算法、灰度平移、線性映射的圖像效果與直方圖。其中圖像原始數(shù)據(jù)為14bit。

線性映射的方法是將14bit數(shù)據(jù)線性映射為8bit數(shù)據(jù)，有效灰度范圍進一步變窄，并且產(chǎn)生了灰度合并現(xiàn)象，圖像細節(jié)無法保留?；叶绕揭频姆椒ㄊ菍?4bit有效的灰度范圍直接平移到8bit數(shù)據(jù)寬度中，圖像保留了原始圖像的有效灰度范圍，但是圖像層次感不強，有效灰度只分布在很窄的一段范圍內(nèi)，細節(jié)信息仍然無法保留。GHE算法則將灰度直方圖進行了拉伸，圖像的層次感明顯變好，但是出現(xiàn)了很嚴重的過飽和和細節(jié)丟失現(xiàn)象。

圖1 線性映射、灰度平移、GHE三種灰度壓縮方法比較

1.2 K-Means聚類算法

K-Means算法是一種基于距離的數(shù)據(jù)聚類算法[22]，可以將數(shù)據(jù)分為多個類。在圖像處理中通常使用K-Means算法進行圖像分割。圖像一般情況可以分為前景和背景。通過K-Means算法可以將圖像分為兩類，獲得前景像素集合和背景像素集合。以下為K-Means算法的步驟：

1）確定要輸出的類數(shù)。每一個類數(shù)要確定一個初始的聚類中心。

2）對圖像的像素點進行輪詢，根據(jù)其到聚類中心的距離，將其歸類。

3）對于新生成的類，重新計算其新的聚類中心。

4）重復以上步驟2）和步驟3），直至所有分類不再變化。

圖2為場景2、場景3 K-Means算法分割后的效果。為了保持增強前后圖像亮度不產(chǎn)生跳變，本文以亮度均值為分割閾值，用平均灰度將圖像分割為兩個子圖，利用兩個子圖的平均灰度作為初始聚類中心。

從圖2中可以看出K-Means聚類可以將圖像的背景和前景分離開。

圖2 K-Means聚類效果

2 基于新圖像分割方式的雙直方圖均衡算法

將圖像分為前景和背景兩類的基礎(chǔ)是前景和背景有灰度差異，表現(xiàn)在圖像的直方圖上，前景和背景的差異就會形成一個波谷。所以一個理想的圖像前景和背景的分割閾值必然在圖像直方圖的一個波谷處。但是理想的波谷的位置并不容易確定，對于場景1和場景2，背景和前景灰度和像素個數(shù)均差異巨大，直方圖的雙波峰現(xiàn)象很明顯，但是場景3的背景和前景像素個數(shù)則差異不大，很難確定合理的分割閾值。而K-Means算法可以有效合理地將圖像分為前景和背景兩類，結(jié)合紅外圖像對溫度的敏感大、容易飽和的特點，對K-Means算法進行修正。將修正的K-Means算法和直方圖局部最小值相結(jié)合確定理想閾值，利用閾值將圖像分為兩部分，分別做GHE，最后將結(jié)果取并集。步驟如下：

1）計算輸入圖像的直方圖，求出直方圖的局部最小值集合局部最小值。

2）利用修正的K-Means算法計算分割灰度閾值修正。

3）在集合局部最小值中找出距離修正最近的點，即為理想分割閾值。

4）將圖像分成兩個子圖，兩子圖分別作GHE。

5）合并兩個均衡后的子圖。

其中步驟1）詳細計算見2.1節(jié)，步驟2）和步驟3）詳細計算見2.2節(jié)，步驟4）和步驟5）詳細計算見2.4節(jié)。

2.1 直方圖平滑

以上分析可知圖像背景和前景的合理閾值灰度在直方圖上處于某一個波谷位置，直方圖的波谷位置就是直方圖的局部最小值。由圖1(a)可知，圖像直方圖相鄰像素跳躍大、分布銳利，為了方便找直方圖局部最小值，需要對直方圖進行平滑。采用一維中值濾波對直方圖進行平滑，如圖1(b)。

1）選取尺寸為1×(2＋1)的窗口，使窗口原點與直方圖原點重合。此時窗口內(nèi)的元素集合為。

＝[(－),(－＋1), …,(), …,(＋－1),(＋)] (3)

2）平滑后處的直方圖為：

￠()＝Median() (4)

3）其中Median為將集合按照大小順序排列，取集合的中值。

4）將窗口向右移動一步，重復以上計算。

圖3展示了場景1平滑前后直方圖的變化。

圖3 場景1直方圖平滑前后對比

2.2 直方圖局部最小值

對于經(jīng)過平滑后的直方圖序列來說，小于其相鄰元素的元素視為局部最小值。對平滑后的直方圖￠求其前項差分序列，根據(jù)前項差分序列的正負來確定局部最小值的位置。對平滑后的直方圖找其局部最小值集合，公式如下：

()＝￠()－￠(－1)，＝0, 1, 2, 3, …,－1 (5)

t＝"{()＜0,(＋1)＞0},＝0, 1, 2, 3, …,－1 (6)

局部最小值＝(0,1, …,j－1) (7)

式中：為原始圖像的灰度級；為直方圖局部最小值的個數(shù)；局部最小值為直方圖局部最小值的集合。

2.3 修正的K-Means算法

由圖2可知，K-Means算法可以將圖像分為前景和背景。紅外圖像具有動態(tài)范圍小、容易飽和的特點，為了充分抑制紅外圖像的亮度飽和現(xiàn)象，在圖像極性為白熱條件下，將分割閾值向大灰度方向偏移。偏移量與背景的個數(shù)有關(guān)，背景個數(shù)越多，偏移量越小。偏移像素點個數(shù)num由公式(8)確定，為圖像像素點個數(shù)，back、fore分別為利用K-Means聚類算法得到的背景和前景點的個數(shù)，和為固定系數(shù)。

由式(9)和式(10)可以計算出偏移灰度：

式中：k-means為K-Means算法計算得到的灰度分割閾值；gray為偏移灰度。

修正后灰度閾值為：

修正＝k-means＋gray(11)

結(jié)合直方圖局部最小值集合局部最小值，確定理想圖像灰度分割閾值為：

2.4 雙直方圖均衡

分割閾值將圖像分為1和2兩個子圖，對兩個子圖分別做GHE。步驟如式(14)、式(15)、式(16)：

＝＋1,＋2,…,(15)

式中：1，2為兩個子圖直方圖的概率密度函數(shù)；Map1()，Map2()分別為兩個子圖的灰度映射表。Map1()和Map2()可以組成完整的映射函數(shù)Map()。

3 分析

為了體現(xiàn)新算法的灰度飽和抑制功能和細節(jié)提升功能，對GHE和新算法進行主觀分析與客觀分析。主觀分析通過人眼對比GHE算法、本文算法的圖像增強效果進行判斷；客觀分析采用PSNR和SSIM兩個指標對GHE算法和新算法進行比較。

3.1 主觀評價

實驗結(jié)果如圖4所示。

通過對比GHE算法和基于新的圖像分割閾值方法的雙直方圖均衡算法的效果圖，圖4中方框內(nèi)的區(qū)別尤為明顯，GHE算法產(chǎn)生的灰度飽和現(xiàn)象被本文算法有效修正，提高了原本飽和處的細節(jié)，同時暗處的細節(jié)也沒有丟失。

3.2 客觀評價

采用峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）兩個指標來對比GHE算法和基于新的圖像分割閾值方法的雙直方圖均衡算法的效果。

峰值信噪比值越大，圖像的抗噪聲性能越好。其計算公式見式(17)、式(18)。其中MSE為增強后的圖像與原始圖像之間的均方差，(,)，￠(,)分別表示原始圖像與增強后的圖像。表示圖像的高度，表示圖像的寬度。表示圖像灰度的位數(shù)。這里原始圖像為經(jīng)過灰度平移壓縮的圖像，增強圖像分別為經(jīng)過GHE算法的圖像和經(jīng)過本文算法的圖像。

結(jié)構(gòu)相似度在亮度、對比度和圖像結(jié)構(gòu)3個維度對兩幅圖像的相似度進行測量。值越接近1，兩幅圖像的相似性越好。這里使用SSIM定量說明經(jīng)過GHE算法的圖像和經(jīng)過本文算法的圖像與經(jīng)過灰度平移壓縮算法的圖像之間的相似性。其公式如下。

式中：、為兩幅圖像的平均灰度；為輸入圖像和輸出圖像的協(xié)方差；2、2為兩幅圖像的方差；1、2為遠小于零的常數(shù)。

實驗結(jié)果見表1，表中4個數(shù)據(jù)分別為文中的4個場景。

表1 本文算法增強后圖像與GHE算法增強后圖像的指標對比

經(jīng)過實驗證明，本文算法相對GHE算法在PSNR和SSIM上均有提高，4個場景的PSNR分別提升17.9%、13.1%、16.7%、18.0%，4個場景的SSIM分別提升1.7%、14.2%、30.8%、12.7%。PSNR平均提升16.425%，SSIM平均提升14.85%。

4 結(jié)論

本文提出了一種基于圖像直方圖局部最小值與修正的K-Means算法相結(jié)合的雙直方圖均衡算法。該算法為了使變換后灰度不產(chǎn)生跳躍，K-Means算法初始聚類中心為圖像灰度均值所分割的兩個子圖的平均灰度，然后對新產(chǎn)生的分割閾值進行灰度修正。再結(jié)合直方圖局部最小值集合確定理想閾值，最后對理想閾值分割產(chǎn)生的兩個子圖分別進行GHE。經(jīng)過實驗驗證，此算法可以很好抑制GHE算法產(chǎn)生的圖像灰度飽和和細節(jié)丟失的現(xiàn)象，并且沒有產(chǎn)生塊效應(yīng)。

[1] 孔松濤, 黃鎮(zhèn), 楊謹如. 紅外熱像無損檢測圖像處理研究現(xiàn)狀與進展[J]. 紅外技術(shù), 2019, 41(12): 1133-1140.

KONG Songtao, HUANG Zhen, YANG Jinru. Research status and development of image processing for infrared thermal image nondestructive testing[J].,2019, 41(12): 1133-1140.

[2] 陳堯, 尹麗菊, 咸日常, 等. 基于NSCT和改進PalKing算法的電力設(shè)備紅外圖像增強方法[J].計算機應(yīng)用與軟件, 2021, 38(11): 236-241, 287.

CHEN Yao, YIN Liju, XIAN Richang, et al. Infrared image enhancement method for power equipment based on NSCT and improved Pal_King algorithm[J].2021, 38(11): 236-241, 287.

[3] Silverman J. Display and enhancement of infrared images[C]//,, 1992: 345-348.

[4] 孔松濤, 謝義, 王松, 等. 紅外熱像增強算法發(fā)展研究綜述[J]. 重慶科技學院學報: 自然科學版, 2021, 23(4): 77-83.

KONG Songtao, XIE Yi, WANG Song, et al.Review on the development of infrared thermal image enhancement algorithms[J]., 2021, 23(4): 77-83.

[5] 任其干, 譚欽紅, 萬志衛(wèi). 紅外熱成像系統(tǒng)的采集與驅(qū)動電路設(shè)計[J].紅外, 2011, 32(2): 13-17.

REN Qigan, TAN Qinhong, WAN Zhiwei. Design of acquisition and driving circuit of infrared thermal imaging system[J]., 2011, 32(2): 13-17.

[6] 祝紅彬, 李偉, 劉子驥, 等. 一種低噪聲紅外焦平面器件采集電路的設(shè)計[J]. 紅外技術(shù), 2010, 32(3): 165-168, 172.

ZHU Hongbin, LI Wei, LIU Ziji, et al. Design of a low noise infrared focal plane device acquisition circuit[J]., 2010, 32(3): 165-168, 172.

[7] Gonzalez Rafael C, Woods Richard E.[M]. Beijing: Publishing House of Electronics Industry, 2010.

[8] 王炳健, 劉上乾, 周慧鑫, 等. 基于平臺直方圖的紅外圖像自適應(yīng)增強算法[J]. 光子學報, 2005, 34(2): 299-301.

WANG Bingjian, LIU Shangqian, ZHOU Huixin, et al. Self-adaptive contrast enhancement algorithm for infrared images based on plateau histogram[J]., 2005, 34(2): 299-301.

[9] 宋巖峰, 邵曉鵬, 徐軍. 基于雙平臺直方圖的紅外圖像增強算法[J]. 紅外與激光工程, 2008, 37(4): 308-311.

SONG Yanfeng, SHAO Xiaopeng, XU Jun. New enhancement algorithm for infrared image based on double plateaus histogram[J]., 2008, 37(4): 308-311.

[10] 毛義偉, 顧國華, 陳錢, 等. 基于改進型平臺直方圖的紅外均衡化算法[J]. 光學與光電技術(shù), 2012, 10(5): 63-66.

MAO Yiwei, GU Guohua, CHEN Qian, et al. Infrared image equalization algorithm based on improved plateaus histogram[J]., 2012, 10(5): 63-66.

[11] WAN M, GU G, QIAN W, et al. Particle swarm optimization-based local entropy weighted histogram equalization for infrared image enhance-ment[J]., 2018, 91(10): 164-181.

[12] LIANG K, MA Y, XIE Y, et al. A new adaptive contrast enhancement algorithm for infrared images based on double plateaus histogram equalization[J]., 2012, 55(4): 309-315.

[13] 陳錢, 柏連發(fā), 張保民. 紅外圖像直方圖雙向均衡技術(shù)研究[J]. 紅外與毫米波學報, 2003, 22(6): 428-430.

CHEN Qian, BO Lianfa, ZHANG Baomin. Histogram double equalization in infrared image[J]., 2003, 22(6): 428-430.

[14] LEE C, LEE C, KIM C. Contrast enhancement based on layered difference representation of 2D histograms[J]., 2013, 22(12): 5372-5384.

[15] Pizer S M, Amburn E P, Austin J D, et al. Adaptive histogram equalization and its variations[J]., 1987, 39(3): 355-368.

[16] Zuiderveld K.[M]. San Diego: Academic Press Professional, Inc. 1994.

[17] Kim J, Kim L, Hwang S. An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J]., 2001, 11(4): 475-483.

[18] Ganesan S D, Rabbani M. Contrast enhancement using completely overlapped uniformly decrementing sub-block histogram equalization for less controlled illumination variation[J]., 2019, 16(3): 389-395.

[19] KIM Y T. Contrast enhancement using brightness preserving bi-histogram equalization[J]., 1997, 43(1): 1-8.

[20] 萬俊霞, 林珊玲, 梅婷, 等. 基于圖像分割和動態(tài)直方圖均衡的電潤濕顯示器圖像增強算法[J]. 光子學報, 2022, 51(2): 240-250.

WAN Junxia, LIN Shanling, MEI Ting, et al. Image enhancement algorithm of electrowetting display based on image segmentation and dynamic histogram equalization[J]., 2022, 51(2): 240-250.

[21] 韓少剛, 江巨浪. 基于圖像分割的雙直方圖均衡算法[J]. 安慶師范大學學報: 自然科學版, 2021, 27(1): 66-69.

HAN Shaogang, JIANG Julang. Double histogram equalization algorithm based on image segmentation[J]., 2021, 27(1): 66-69.

[22] 張霖澤, 王晶琦, 吳文. 一種基于K-means改進聚類的圖像增強算法[J]. 應(yīng)用光學, 2016, 37(4): 549-554.

ZHANG Linze, WANG Jingqi, WU Wen. Image enhancement algorithm based on improved K-means clustering[J]., 2016, 37(4): 549-554.

Bi-Histogram Equalization Algorithm for Infrared Image Enhancement

YAN Zhe，JIANG Li，YANG Fan，LUO Zhibin，JIA Zan，ZHANG Wei，ZHU Hongyang，CHEN Ruzao，ZHU Guangming，GUO Xiaojun，LIU Mengran

(Kunming Institute of Physics, Kunming 650223, China)

A modified bi-histogram equalization algorithm is proposed to suppress gray saturation and loss of local details caused by global histogram equalization. First, the background and foreground of the image are segmented, and a modified k-means clustering algorithm based on the local minimum of the histogram is proposed to determine the ideal segmentation threshold of the image. Then, histogram equalization is performed for the segmented sub-graphs. The algorithm is verified by experiments; the results for the experiment show that, compared with those from global histogram equalization, the peak signal to noise ratio and structural similarity are improved by approximately 16.425% and 14.85%, respectively. Simultaneously, through subjective evaluation, the algorithm based on histogram local minimum and modified k-means can effectively suppress the gray saturation and detail loss caused by GHE.

image segmentation, double histogram equalization, K-Means, local minimum

TP391

A

1001-8891(2022)09-0944-07

2021-12-29；

2022-02-09.

閆哲（1992-），男，河南省輝縣市人，碩士，工程師，主要研究方向：紅外圖像處理。E-mail: yanzhe925@live.com。

蔣礫（1979-），男，云南省昆明市人，正高級工程師，主要研究方向：紅外圖像處理。E-mail: jiang_li@263.net.cn。