基于視覺(jué)顯著區(qū)域的紅外圖像增強(qiáng)算法研究

汪 忱，張寶輝，王 虹，李中文

?

基于視覺(jué)顯著區(qū)域的紅外圖像增強(qiáng)算法研究

汪 忱1，張寶輝2，王 虹1，李中文2

（1. 南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，江蘇 南京 210094；2. 北方夜視科技集團(tuán)有限公司南京研發(fā)中心，江蘇 南京 211106）

人眼對(duì)于感興趣區(qū)域的視覺(jué)關(guān)注度更高，為了實(shí)現(xiàn)對(duì)相關(guān)區(qū)域的圖像增強(qiáng)，本文提出了基于視覺(jué)顯著區(qū)域的紅外圖像增強(qiáng)算法。本算法通過(guò)去霧預(yù)處理使圖像在檢測(cè)時(shí)獲取更加完整的顯著性區(qū)域，再對(duì)該區(qū)域采用分層差分表達(dá)理論，把高層的差分向量換算到低層，最終計(jì)算顯著性區(qū)域的差分向量以及圖像的全局變換函數(shù)，實(shí)現(xiàn)圖像增強(qiáng)。實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)顯著性區(qū)域的增強(qiáng)效果明顯，合理地突出了顯著性區(qū)域，增強(qiáng)圖像的同時(shí)對(duì)原圖邊緣細(xì)節(jié)的保持能力很好。

視覺(jué)顯著性；分層差分表達(dá)理論；紅外圖像增強(qiáng)；去霧

0 引言

由于紅外成像具有環(huán)境適應(yīng)性強(qiáng)、隱蔽性好、抗干擾能力強(qiáng)等優(yōu)點(diǎn)，被廣泛應(yīng)用于監(jiān)控、偵查和醫(yī)療等軍民領(lǐng)域，但由于自身硬件設(shè)備的限制和環(huán)境的干擾，圖像的成像質(zhì)量不高，通常表現(xiàn)為視覺(jué)效果模糊、對(duì)比度低、細(xì)節(jié)和紋理缺乏。因此對(duì)紅外圖像進(jìn)行增強(qiáng)處理是必不可少的[1]。

常見的圖像增強(qiáng)方法可分為空域增強(qiáng)和頻域增強(qiáng)兩大類，其中空域增強(qiáng)算法有灰度變換和直方圖均衡化（Histogram Equalization，HE）以及各種基于此改進(jìn)的算法，如平臺(tái)直方圖增強(qiáng)（Plateau Histogram Equalization，PHE）、對(duì)比度受限的直方圖均衡化（Contrast Limited Adaptive Histogram Equalization ，CLAHE）等；頻域增強(qiáng)算法主要有小波變換、基于對(duì)數(shù)運(yùn)算的Retinex算法等[2]。直方圖均衡化算法簡(jiǎn)單快捷，但其在增強(qiáng)目標(biāo)細(xì)節(jié)的同時(shí)也增強(qiáng)了圖像中噪聲的對(duì)比度，會(huì)使增強(qiáng)后的圖像灰度級(jí)減少，出現(xiàn)較大的噪聲；平臺(tái)直方圖均衡化設(shè)置了上下限平臺(tái)，對(duì)細(xì)節(jié)有所增強(qiáng)，但其本質(zhì)還是直方圖均衡化，同樣會(huì)導(dǎo)致部分區(qū)域出現(xiàn)過(guò)增強(qiáng)現(xiàn)象[3]。

對(duì)于一幅場(chǎng)景來(lái)說(shuō)，人眼通常會(huì)被這個(gè)場(chǎng)景中某些與周圍環(huán)境有一定差異性的局部所吸引，這些局部對(duì)于這個(gè)場(chǎng)景來(lái)說(shuō)就屬于顯著性區(qū)域。如果能夠在考慮人眼視覺(jué)特性的基礎(chǔ)上進(jìn)行增強(qiáng)處理，那么對(duì)圖像處理結(jié)果的主觀質(zhì)量和客觀評(píng)價(jià)無(wú)疑會(huì)有明顯的提高[4]。視覺(jué)顯著區(qū)域檢測(cè)一般分為兩類，一種是自下而上的區(qū)域檢測(cè)，該模型不需要人的主觀認(rèn)識(shí)或習(xí)慣進(jìn)行引導(dǎo)；另一種是自上而下的區(qū)域檢測(cè)，該模型考慮了人的視覺(jué)任務(wù)以及人在不同場(chǎng)景下對(duì)目標(biāo)的感知。1998年的itti模型[5]以及本文采用的顯著性濾波（Saliency Filters，SF）算法都是屬于自下而上模型，相比自上而下的模型處理速度會(huì)快很多。本文提出一種針對(duì)視覺(jué)顯著性區(qū)域的圖像增強(qiáng)算法，先通過(guò)SF算法檢測(cè)出圖像中的顯著性區(qū)域，再結(jié)合該區(qū)域和非顯著性區(qū)域的圖像信息得到全局函數(shù)，增強(qiáng)圖中的顯著性目標(biāo)。

1 本文算法思路

在實(shí)際觀測(cè)過(guò)程中，人眼對(duì)感興趣的區(qū)域關(guān)注度更高，在計(jì)算機(jī)視覺(jué)中一般稱之為顯著性區(qū)域[6]。為了實(shí)現(xiàn)對(duì)顯著性區(qū)域的有效增強(qiáng)，本文采用一種基于顯著性區(qū)域紅外圖像增強(qiáng)算法。該算法首先檢測(cè)圖像中的顯著性區(qū)域，然后分析該區(qū)域的差分信息，計(jì)算差分向量并對(duì)其進(jìn)行高斯濾波，再把得到的差分向量與非顯著性區(qū)域的向量加權(quán)融合得到圖像的變換函數(shù)，重建后實(shí)現(xiàn)對(duì)顯著性區(qū)域的增強(qiáng)。由于紅外探測(cè)器接收鏡頭自身問(wèn)題以及外界各種物體所產(chǎn)生的散射等影響，造成紅外圖像表面會(huì)出現(xiàn)“霧”一樣的現(xiàn)象，表面有霧的紅外圖像會(huì)出現(xiàn)視覺(jué)效果模糊、對(duì)比度低等缺點(diǎn)，導(dǎo)致顯著性檢測(cè)準(zhǔn)確度降低，因此本文對(duì)圖像進(jìn)行去霧預(yù)處理，再檢測(cè)其顯著性區(qū)域。全文算法模型如圖1所示。

圖1 本文算法流程圖

具體可分為4個(gè)部分：紅外圖像預(yù)處理、顯著性區(qū)域檢測(cè)、顯著性區(qū)域差分向量計(jì)算和獲取、全圖灰度映射。

1.1 紅外圖像預(yù)處理

本文結(jié)合偽暗通道與大氣散射模型[8]，建立如下紅外去霧模型：

1()＝1()1()＋1(1－1()) (2)

重新定義大氣散射模型中的參數(shù)：1()為未進(jìn)行去霧處理的紅外圖像；1()為去霧處理后的紅外圖像；1()為紅外光的透射率；1為環(huán)境大氣光值。

同時(shí)對(duì)1()和1()進(jìn)行偽暗通道處理得：

根據(jù)式(1)可知去霧后場(chǎng)景區(qū)域的偽暗通道值min(())近似為0。進(jìn)而可以得到透射率1()：

根據(jù)式(2)推導(dǎo)出最終去霧后的圖像為：

式中：0是為了防止1()過(guò)小，導(dǎo)致1()偏大，從而設(shè)置的一個(gè)閾值。由于紅外圖像是單通道灰度圖，僅按照參考文獻(xiàn)中取偽暗通道中亮度前1%的像素會(huì)導(dǎo)致取值過(guò)少，不能很好的表達(dá)全圖，因此本文取亮度前3%的像素，對(duì)應(yīng)原圖灰度值中最大的作為1的值。

1.2 顯著性區(qū)域檢測(cè)

SF算法顯著性區(qū)域檢測(cè)是把圖像的一些低層特征（如亮度，顏色，方向，形狀等）分別表示出來(lái)，屬于一種基于對(duì)比度濾波的顯著性區(qū)域檢測(cè)算法，分為4個(gè)步驟：抽象分割，元素唯一性，元素空間分布以及顯著性分配[9]。

在CIELab空間下，SF算法利用鄰近聚類法進(jìn)行分割，將圖像中局部相似的區(qū)域聚合，稱之為元素，把一幅圖像由像素級(jí)變換成元素級(jí)。接著對(duì)于已分割好的圖像進(jìn)行元素唯一性計(jì)算，單個(gè)元素與其他元素差異越大，U值越大，那么其顯著性也就越高。背景的顏色一般分布在圖像的各個(gè)部分，而前景的顏色會(huì)集中在少數(shù)的幾個(gè)部位。設(shè)第個(gè)元素的空間分布頻率為D，如果該元素在圖像上出現(xiàn)的頻率小，說(shuō)明其顯著性比較高，只有當(dāng)該元素的唯一性大且元素的空間分布頻率小，才會(huì)被認(rèn)為其屬于顯著性區(qū)域。通過(guò)前兩步得到的U和D，將這兩個(gè)顯著性特征值歸一化，融合得到每個(gè)元素的最終顯著性S，由于空間分布值D的區(qū)分度更高，SF算法將D放在指數(shù)位置：

S＝U×exp(－×D) (6)

最后，把圖像由元素級(jí)變換回像素級(jí)，利用高斯濾波計(jì)算每個(gè)像素的顯著性：

圖2將SF算法與itti算法對(duì)顯著區(qū)域檢測(cè)效果對(duì)比，可見SF算法在邊緣保持方面比itti算法好很多，顯著區(qū)域的輪廓基本保持。對(duì)圖像去霧后再用SF算法檢測(cè)，可以將更多細(xì)節(jié)部分的邊緣突顯出來(lái)，檢測(cè)更加完善。

圖2 不同算法檢測(cè)顯著性區(qū)域的結(jié)果

1.3 顯著性區(qū)域差分向量計(jì)算和獲取

接著對(duì)顯著區(qū)域進(jìn)行差分向量分析統(tǒng)計(jì)[10]，以8位圖像為例，＝[0;1; …;255]表示將輸入圖像中的灰度級(jí)映射到輸出圖像中的x的變換函數(shù)。假設(shè)圖像中一對(duì)相鄰的像素灰度值為和＋1，被映射到輸出圖像上灰度級(jí)為x和x＋1，則第層的差分向量d定義式為：

變換函數(shù)和差分變量d的關(guān)系結(jié)構(gòu)如圖3所示，令(,＋1)為輸入圖像中灰度值為和＋1的相鄰像素對(duì)的數(shù)量，(,＋1)越大表示這對(duì)相鄰灰度級(jí)在圖像中出現(xiàn)越頻繁，因此，可以通過(guò)增大d的值來(lái)突出圖像的對(duì)比度，對(duì)于每一層來(lái)說(shuō)，d和(,＋1)是成正比例的：

d＝(,＋1) (9)

式中：為第層一個(gè)歸一化常量，定義式為：

根據(jù)各層的差分直方圖可以計(jì)算出d，再通過(guò)層與層之間的關(guān)系，建立如下線性方程：

＝(11)

本文考慮金字塔結(jié)構(gòu)中層與各層的內(nèi)在聯(lián)系，選取固定層作為基層，并將其他層的差分向量轉(zhuǎn)換到基層上[11]。然而，這種方法對(duì)基層的選擇要求嚴(yán)格，如果基層選擇過(guò)高，會(huì)導(dǎo)致舍棄的低層過(guò)多，丟失部分信息，經(jīng)過(guò)大量紅外圖像實(shí)驗(yàn)表明，當(dāng)基層選擇第二層時(shí)，僅舍棄第一層的數(shù)據(jù)，留下有效的差分信息與原始圖像的最為接近，最終丟失信息不明顯且增強(qiáng)效果最好。聯(lián)系式(8)可得其他各層與第二層的轉(zhuǎn)換公式為：

由于基層選擇的是第二層，只用解一次線性方程就能得到所需要的總體差分向量，即只需要解22＝2，用線性方程表示即為：

通過(guò)計(jì)算上式，可得總體差分變量y。由于式(7)中的(,＋1)通常隨著層數(shù)的變高而變得更加稀疏，當(dāng)取值較大時(shí)，d會(huì)變成僅由大多數(shù)零和幾個(gè)高峰組成的稀疏解。這會(huì)使增強(qiáng)圖像出現(xiàn)像傳統(tǒng)HE算法中噪聲放大和對(duì)比度過(guò)度拉伸的情況，為了消除這個(gè)問(wèn)題，本文對(duì)y進(jìn)行一次高斯濾波：

式中：*代表卷積運(yùn)算，g是層的高斯核，本文對(duì)該高斯核窗口大小取7，標(biāo)準(zhǔn)差取2。

1.4 全圖灰度映射

是通過(guò)對(duì)顯著性區(qū)域進(jìn)行差分信息分析統(tǒng)計(jì)得到的，是針對(duì)顯著性區(qū)域的差分向量，為了防止非顯著性區(qū)域出現(xiàn)過(guò)度增強(qiáng)，本文定義一個(gè)非顯著性差分向量為1，即由255個(gè)1組成的差分向量，再對(duì)加權(quán)并與其相加，得到總體差分向量為：

式中：在本文中取定值0.15。

最后，累加總體差分變量求得全局變換函數(shù)，進(jìn)行全局灰度變換：

其中令0＝0。

2 實(shí)驗(yàn)結(jié)果和算法對(duì)比

為驗(yàn)證本文算法的實(shí)用性，引入直方圖均衡化、對(duì)比度受限的直方圖均衡化和分層差分表達(dá)理論（Layered Difference Representation，LDR）算法分別從客觀評(píng)價(jià)標(biāo)準(zhǔn)和主觀視覺(jué)兩個(gè)方面與之對(duì)比。同時(shí)采用邊緣保持指數(shù)（Edge Preservation Index，EPI）[12]、局部對(duì)比度（Local Contrast，LC）[13]作為圖像的客觀評(píng)價(jià)標(biāo)準(zhǔn)，EPI代表增強(qiáng)圖像對(duì)原圖像邊緣的保持能力，EPI值越大表示該算法對(duì)原圖像的邊緣細(xì)節(jié)保持能力越好，其函數(shù)公式為：

式中：A，C分別代表原圖像的像素點(diǎn)和增強(qiáng)后的圖像像素點(diǎn)；AN，CN表示A,C相鄰像素點(diǎn)的灰度值；局部對(duì)比度是將圖像分為若干個(gè)×的尺寸相等的區(qū)域，然后計(jì)算各區(qū)域的累加值，其函數(shù)定義式為：

式中：(,)為區(qū)域局部對(duì)比度。

圖4 第一組不同增強(qiáng)算法比較

圖5 第二組不同增強(qiáng)算法比較

表1 圖4、圖5的客觀評(píng)價(jià)指標(biāo)比較

由表1可以清晰地看出，HE、CLAHE、LDR三種算法在邊緣保持能力方面遠(yuǎn)沒(méi)有本文算法好。同時(shí)從顯著性區(qū)域與整體對(duì)比度方面來(lái)看，CLAHE對(duì)如圖4的近景增強(qiáng)效果略好，而HE和LDR兩種算法沒(méi)有能夠?qū)@著區(qū)域與整體的對(duì)比度提高，本文算法有效地提高了顯著區(qū)域局部對(duì)比度，把顯著區(qū)域從背景中突出。

圖4、圖5為各算法結(jié)果圖，其中顯著性區(qū)域圖為去霧后顯著性檢測(cè)得到的。經(jīng)過(guò)HE算法處理后的圖像，會(huì)出現(xiàn)部分區(qū)域增強(qiáng)過(guò)度，如圖4左下角和圖5右側(cè)的玻璃墻區(qū)域，導(dǎo)致了部分區(qū)域細(xì)節(jié)丟失。CLAHE是對(duì)HE進(jìn)行改進(jìn)，有效限制了輸出圖像的全局對(duì)比度，再對(duì)局部采取對(duì)比度增強(qiáng)，對(duì)區(qū)域細(xì)節(jié)的增強(qiáng)效果良好，但是其本質(zhì)還是HE算法原理，在對(duì)目標(biāo)區(qū)域增強(qiáng)的同時(shí)，會(huì)出現(xiàn)對(duì)背景的過(guò)度增強(qiáng)，如天空區(qū)域等，整體的視覺(jué)效果不好。LDR通過(guò)統(tǒng)計(jì)圖像中灰度差，并放大出現(xiàn)頻率大的灰度差，有效地增強(qiáng)了圖像中的細(xì)節(jié)部分，但是由于LDR算法在計(jì)算差分向量時(shí)沒(méi)有考慮層與層之間的聯(lián)系，變換函數(shù)會(huì)受到高層差分向量轉(zhuǎn)換的影響，導(dǎo)致部分細(xì)節(jié)增強(qiáng)出現(xiàn)偏差，如圖4中右下角和左下角區(qū)域，圖5中遠(yuǎn)處建筑物中的部分細(xì)節(jié)。本文算法對(duì)檢測(cè)到的顯著性區(qū)域進(jìn)行分層差分表達(dá)，增強(qiáng)顯著性區(qū)域的細(xì)節(jié)信息，同時(shí)保持非顯著性區(qū)域的整體特征，得到的增強(qiáng)圖像，顯著性區(qū)域細(xì)節(jié)增強(qiáng)效果好，且與非顯著性區(qū)域?qū)Ρ让黠@，很好地突出了視覺(jué)性顯著性區(qū)域的特征。圖6為更多圖像的算法效果對(duì)比。

3 總結(jié)

為了突出視覺(jué)顯著性區(qū)域，并對(duì)其進(jìn)行有效的增強(qiáng)處理，使增強(qiáng)后的圖像更加適合人眼觀測(cè)。本文提出了一種基于顯著性區(qū)域檢測(cè)的紅外圖像增強(qiáng)算法，該算法利用去霧模型對(duì)圖像預(yù)處理，使顯著性區(qū)域在檢測(cè)時(shí)更加完整；再對(duì)檢測(cè)出的顯著性區(qū)域采用分層差分表達(dá)算法統(tǒng)計(jì)分析，將高層差分向量向低層進(jìn)行換算，計(jì)算出顯著性區(qū)域的差分變量，并與保持非顯著性區(qū)域特征的向量相加得到全圖差分變量，進(jìn)而求得全局變換函數(shù)，最終實(shí)現(xiàn)圖像增強(qiáng)。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，本文算法對(duì)圖像的處理更適合人眼觀測(cè)，有效地對(duì)顯著性區(qū)域進(jìn)行細(xì)節(jié)增強(qiáng)，同時(shí)在增強(qiáng)圖像的過(guò)程中很好地保持了原圖的細(xì)節(jié)邊緣。

圖6 各種算法增強(qiáng)結(jié)果

Fig.6 Enhanced results of various algorithms

[1] 陳錢. 紅外圖像處理技術(shù)現(xiàn)狀及發(fā)展趨勢(shì)[J]. 紅外技術(shù), 2013, 35(6): 311-318.

CHEN Qian. The Status and Development Trend of Infrared Image Processing Technology[J]., 2013, 35(6): 311-318.

[2] 張立強(qiáng). 紅外圖像增強(qiáng)技術(shù)發(fā)展研究[J]. 艦船電子工程, 2013, 33(3): 17-19.

ZHANG Liqiang.Development of the Infrared Image Enhancement Technology[J]., 2013, 33(3): 17-19.

[3] 郭師虹. 空域紅外圖像增強(qiáng)方法的研究[D]. 西安: 西安建筑科技大學(xué), 2005.

GUO Shihong. Study of Infrared Image Enhancement Methods Based on Spatial Domain[D].Xi'an: Xi'an University of Architecture and Technology, 2005.

[4] 于天河, 郝富春, 康為民, 等. 紅外圖像增強(qiáng)技術(shù)綜述[J]. 紅外與激光工程, 2007, 36(z2): 335-338.

YU Tianhe, HAO Fuchun, KANG Weimin, et al.Summarization on the infrared image enhancement technology[J]., 2007, 36(z2): 335-338.

[5] L. Itti, C. Koach, Niebur. A model of saliency-based attention for rapid scence analysis[J]., 1988, 20(11): 1254-1259.

[6] 陳曦. 基于特征點(diǎn)最小凸包與對(duì)比度的顯著性檢測(cè)算法研究[D]. 重慶: 重慶大學(xué), 2015.

CHEN Xi.Salient Region Detection Algorithm Based on Minimum Convex Hull of Feature Points and Contrast[D]. Chongqing: Chongqing University, 2015.

[7] He K, Sun J, Tang X. Single Image Haze Removal Using Dark Channel Prior[C]//2013,, 2009: 1956-1963.

[8] Nayar S K, Narasimhan S G. Vision in bad weather[C]//, 1999(2): 820-827.

[9] F. Perazzi, P. Krahenbuhl, Y. pritch, et al. Saliency Filters: Contrast Based Filtering for Salient Region Detection[C]//, 2012, 157(10): 733-740.

[10] Lee C, Lee C, Kim C S. Contrast enhancement based on layered difference representation of 2D histograms[J].2013, 22(12): 5372-84.

[11] 耿愛(ài)輝, 萬(wàn)春明, 李毅, 等. 基于分層差分表達(dá)理論的圖像視覺(jué)增強(qiáng)[J]. 電子與信息學(xué)報(bào), 2017, 39(4): 922-929.

GENG Aihui, WAN Chunming, LI Yi, et al. Image Visual Enhancement Based on Layered Difference Representation[J]., 2017, 39(4): 922-929.

[12] 張微, 孫蓉樺, 章孝燦. 基于改進(jìn)的小波軟閾值法的SAR圖像去噪[J]. 遙感信息, 2004(4): 4-6.

ZHANG Wei, SUN RongHua, ZHANG XiaoCan.Noise Removal of SAR Image Based on Improved Wavelet Soft-Thresholding Method[J]., 2004(4): 4-6.

[13] 李毅, 張?jiān)品? 張強(qiáng), 等. 基于去霧模型的紅外圖像對(duì)比度增強(qiáng)[J]. 中國(guó)激光, 2015, 42(1): 306-314.

Li Yi, Zhang Yunfeng, Zhang Qiang, et al. Infrared Image Contrast Enhancement Based on Haze Remove Method[J].2015, 42(1): 306-314.

Research on Infrared Image Enhancement AlgorithmBased on Visual Saliency

WANG Chen1，ZHANG Baohui2，WANG Hong1，LI Zhongwen2

(1.,,210094,; 2.,.,,211106,)

The human eye has a higher degree of visual acuity for regions of interest. In order to enhance such regions in images, this paper proposes an algorithm of infrared image enhancement based on visual saliency. First, the de-fog algorithm detects a more complete salient region in the image. Then, the theory of layered difference representation is applied to the region, and the difference vector of the upper layer is applied o the lower layer. Finally, the vector of the salient region and the global transform function of the image are calculated to obtain the enhanced image. The experimental results show that the proposed method not only highlights the salient region reasonably well, but also enhances it. The method also maintains the boundary of the original image during enhancement.

visual saliency，layered difference representation，infrared image enhancement，De-fog

TP391

A

1001-8891(2017)09-0835-06

2017-06-17；

2017-08-29.

汪忱（1993-），男，安徽合肥人，工程碩士，主要從事圖像處理方面研究。E-mail：sanyuewang@163.com