消除光暈和細節(jié)增強的多尺度Retinex紅外圖像增強

溫海濱，畢篤彥，馬時平，何林遠

?

消除光暈和細節(jié)增強的多尺度Retinex紅外圖像增強

溫海濱，畢篤彥，馬時平，何林遠

（空軍工程大學 航空航天工程學院，陜西 西安 710038）

針對傳統(tǒng)Retinex算法處理紅外圖像存在光暈偽影和細節(jié)增強不足的缺點，本文提出一種消除光暈和細節(jié)增強的Multi-scale Retinex（MSR）紅外圖像增強算法。首先，以局部方差和局部復雜度構造引導濾波的自適應平滑增益，然后，采用改進的引導濾波核函數估計照度分量，在對數域對多尺度Retinex數學模型求解，獲取消除光暈和細節(jié)保持的多尺度反射分量。最后，為進一步增強細節(jié)和提升亮度，對反射分量依灰度等級進行自適應增強，并通過偏移調整和Gamma校正改善圖像亮度，得到最終增強圖像。實驗結果表明，本文算法相對其它的Retinex增強算法，可有效地消除光暈現象，突出細節(jié)，可獲得視覺效果良好的增強結果。

紅外圖像；消除光暈；細節(jié)增強；多尺度Retinex；局部信息；引導濾波

0 引言

與可見光成像技術相比，紅外熱成像技術對煙、霧、霾等物質的穿透能力，全天候復雜環(huán)境的強適應性，以及在夜間和惡劣天氣下強抗干擾性，使其廣泛應用于遙感監(jiān)測、精確制導、“海防”等軍事領域[1-2]和安防監(jiān)控，物體測溫[3]等民用領域。同時，因為其受目標輻射特性、紅外傳輸特性以及環(huán)境因素的影響，紅外圖像存在信噪比低、細節(jié)少、對比度不強、視覺效果模糊等缺點，成為其實際應用的瓶頸。因此提升紅外圖像的對比度、增強紅外圖像的邊緣、細節(jié)等結構信息是紅外圖像應用時的必要處理過程。

Retinex算法是基于人類視覺系統(tǒng)（Human Visual System，HSV）提出的圖像增強方法。Edwin H Land與McCann于1971年提出基于人類視覺感知物體顏色和亮度的視覺模型，Retinex理論認為人類所感知到的物體表面的顏色主要取決于物體表面的反射性質。在繼E. land提出基本的Retinex理論后，出現了多種形式的Retinex算法：如隨機路徑算法，同態(tài)濾波算法，中心環(huán)繞Retinex算法[4]，變分框架下的Retinex算法[5]。其中，基于中心環(huán)繞Retinex算法因模型簡單，且能實現色彩恒常性與動態(tài)范圍壓縮之間的平衡等優(yōu)點而被廣泛改進和應用。Land于1986年最早提出了中心環(huán)繞（Center/Surround）Retinex算法，相繼地，Jobson等人提出了單尺度Retinex算法和多尺度Retinex算法[6]?；谥行沫h(huán)繞Retinex方法通過對照度分量的近似估計替代對Retinex數學模型的奇異求解。然而像素亮度表達照度信息和反射本質的雙重信息，如何盡可能準確地估計出照度分量，避免照度估計失真，消除反射結果中的光暈偽影現象，是當前很多學者致力解決的重要方向。Michael Elad[7]提出基于雙邊濾波的Retinex算法，該算法在增強圖像細節(jié)的同時，可以很好地消除光暈效應的影響，但因雙邊濾波復雜度與濾波核尺寸成正比關系，光照估計過程中該算法較為耗時。許欣[8]等提出了一種基于mean shift圖像平滑的快速光照估計方法，在有效去除光暈現象的同時，降低了時間復雜度，在計算性能和增強效果上表現良好。汪榮貴[9]等提出基于無限沖激響應（IIR）低通濾波進行照度估計，且與遺傳算法結合實現算法參數的自適應選取。但涉及參數個數較多。畢國玲[10]等提出基于照射-反射模型和有界運算的多譜段圖像增強，結合廣義有界運算模型和引導濾波，通過有界GLR模型中的減法，加法，乘法求取多尺度反射分量，并對多個譜段的圖像進行增強，可避免傳統(tǒng)運算結果中發(fā)生的光暈和越界現象，增強圖像視覺效果較好。

本文對Retinex算法和引導濾波原理深入地剖析，針對傳統(tǒng)Retinex算法增強紅外圖像時存在光暈偽影和細節(jié)增強不足的問題，利用圖像局部信息構造引導濾波中的自適應平滑增益，更加準確地估計Retinex模型中的光照分量。對于獲取的多尺度細節(jié)層，依反射分量強度進行局部自適應增強，并通過偏移調整和Gamma校正，得到最終增強圖像。實驗結果表明，該方法可以有效消除光暈和增強細節(jié)，獲得較好的圖像增強效果。

1 基本理論

1.1 Retinex基本理論

Retinex理論在假設全局光照平緩變化的情況下，認為圖像的灰度分布與場景的光照分量和物體的反射分量滿足如下方程：

(,)＝(,)×(,) (1)

式中：(,)為照度分量所對應的低頻信息；(,)為目標反射率決定的物體本質信息?；赗etinex的圖像增強方法去除反映空間光照分布的照度信息，突出目標的本質信息，從而實現圖像細節(jié)的增強。

為更好地模擬人眼對亮度的感知能力，同時簡化模型的計算，通常在對數域進行模型求解，基于中心環(huán)繞Retinex方法，通過對照度分量的近似估計替代對Retinex數學模型的奇異求解，利用低通濾波器獲得照射分量的估計值，最終從原圖像中去除照度影響進而求得物體的反射本質。

單尺度Retinex方法對數域模型為：

(,)＝lg(,)－lg[(,)*(,)] (2)

式中：*表示卷積運算；(,)為對圖像照射分量進行估計的低通環(huán)繞函數。

多尺度Retinex方法數學模型為：

僅利用單尺度Retinex方法對圖像進行增強不能實現動態(tài)范圍壓縮和細節(jié)保持之間的平衡，多尺度Retinex（MSR）能改善這一問題。故應利用多尺度Retinex模型對大、中、小尺度下SSR結果進行綜合，從而充分地融合不同尺度下的優(yōu)點，使多尺度反射結果獲得細節(jié)保持和動態(tài)范圍壓縮相平衡的視覺效果。基于以上分析，本文采用多尺度Retinex算法對紅外圖像進行處理。

1.2 引導濾波基本理論

圖像引導濾波是一個線性移可變的濾波過程，包括引導圖像，輸入圖像和輸出圖像。引導圖像與濾波輸出滿足局部線性的關鍵假設，局部線性模型表示為：

q＝aI＋b，?(4)

式中：a，b為局部窗對應的線性系數；是像素索引；為以為大小的局部方形窗。

最小化線性模型的代價函數如下：

式中：為避免a過大的正則因子。利用線性回歸求出(5)式的最優(yōu)解a，b：

本文中，令引導圖像和輸入圖像相同，則(6)式寫為：

則(7)式可改寫為：

b＝(1－a) (9)

從(8)(9)關系式中，可以看出的取值可以決定a、b的大小，結合(4)式把濾波結果可以概括為以下情形：

＝0時，a＝1，b＝0，相當于未對圖像做任何處理。

＞0時，依像素位置和圖像內容，濾波結果可分為兩種情況：

本文又稱引導濾波中為平滑增益。由于該增益為全局參數，而且需要事先人為設定。在利用引導濾波估計Retinex模型中的照度分量時，會因的不同對光照估計結果造成較大影響，所以導致反射分量的巨大差異。當較小時，反射部分表現為更好地消除光暈，突出細節(jié)，但灰度動態(tài)范圍過小。相反，較大時，光暈現象更加明顯，灰度動態(tài)范圍較寬，但圖像細節(jié)增強不足。如圖1所示為不同的全局平滑參數下的對比結果。引導濾波核尺寸設置為＝15。平滑參數設置如圖1所示。基于此，本文考慮設計出依圖像局部特征可變的局部自適應平滑增益，取代原有的全局參數，從而更加準確地估計照度分量，最終獲得消除光暈，保持細節(jié)的反射分量結果。

2 本文算法

2.1 光照分量估計

從待處理圖像中求取照度分量的過程在數學上是一個病態(tài)問題，傳統(tǒng)Retinex算法采用高斯濾波對照度分量進行估計。高斯濾波器在分配濾波權重時只考慮像素間的距離，忽略了濾波圖像自身內容。而雙邊濾波在考慮圖像信息的情況下，對周圍像素點進行權重分配既利用像素間空間距離的高斯加權，也結合像素間亮度差異的高斯加權。將雙邊濾波和引導濾波平滑后得到的低頻信號與原始信號進行對比分析，證實引導濾波較雙邊濾波有更好的邊緣保持能力。雙邊濾波權函數公式如下：

在整體信號對比結果上，可看出兩種濾波器都有很好的邊緣保持能力。但由局部細節(jié)對比可以看出，在如圖2箭頭指示的局部細節(jié)處，雙邊濾波的平滑結果表現出梯度值的翻轉，沒能更好地保持信號的原有梯度信息。在信號處理的角度，無法保持階躍信號的不變性，表現在二維圖像上則為“光暈偽影”的現象。對比實驗中參數選取如下：

引導濾波中參數設置為＝30，＝0.0025。雙邊濾波參數S＝30，R＝0.05。

圖1 不同全局平滑參數的對比結果

圖2 引導濾波與雙邊濾波保邊性能對比

綜上，本文選擇如式(11)所示引導濾波核函數進行照度分量估計：

為更好地解決全局參數導致的動態(tài)范圍壓縮，細節(jié)增強，光暈消除難以平衡的問題，引入局部方差和局部復雜度相結合的自適應平滑增益，對圖像進行依局部信息可變的光照估計過程。

早在1970年代末期，安徽省一些地方的農機手就主動聯(lián)合起來，成立了松散的農機聯(lián)合體。1980年代，一些地區(qū)的農民開始發(fā)展較大規(guī)模的養(yǎng)雞、養(yǎng)豬、養(yǎng)兔等產業(yè)，促進了畜牧業(yè)的發(fā)展。為了滿足農民之間互相學習技術的需要，農村專業(yè)技術協(xié)會(研究會)等合作組織開始發(fā)育，“農村各類民辦的專業(yè)技術協(xié)會(研究會)，是農業(yè)社會化服務體系的一支新生力量?！盵注]1993年中共中央11號文件。

對于一幅×的圖像，假定x,為圖像中某點的灰度值大小，圖像的局部方差[11]定義為：

局部方差反映了局部區(qū)域對比度突變程度，對灰度突變強烈的位置較為敏感，但對某些灰度突變不明顯的細節(jié)區(qū)域則不夠敏感。為進一步改善對細節(jié)信息的保持效果，則需要考慮灰度突變程度的同時兼顧灰度的變化頻率。文獻[12]提出了局部復雜度的概念，其定義如下：

局部復雜度信息可以反映區(qū)域的細節(jié)層次，對微弱的細節(jié)變化同樣具有敏感性。且局部復雜度大小與人眼所關注的灰度頻率變化特性一致，能很好地刻畫圖像局部的灰度變化頻率?；诖?，本文結合反映人眼對頻率敏感特性的對比靈敏度函數CSF（Contrast Sensitivity Function）[13]的函數形式，由局部方差(,)和局部復雜度(,)共同構造平滑增益函數(,)，式(16)、(17)中涉及的兩者都是歸一化結果。經實驗驗證，(,)與局部方差和局部復雜度的函數關系滿足式(15)：

(,)＝×(1－)×(,)＋×(,) (15)

式中：(,)與(,)分別為局部方差控制的增益和局部復雜度控制的增益，兩者如式(16)(17)所示：

(,)＝exp－(i,j)(16)

其中(17)式滿足如圖3所示曲線，從圖3曲線可以看出，由局部復雜度控制的增益eC滿足在灰度變化平緩區(qū)域，即平坦區(qū)和紋理細節(jié)區(qū)，能保持較小的平滑。隨著局部復雜度的增高，在頻率變化強烈抬升后，能夠迅速減小增益，從而對高頻率突變區(qū)域進行更好的邊緣保持作用，從而消除光暈。在局部復雜度變化大于一定閾值時，可以實現增益恒定的效果，從而避免平滑增益過小而無法去除光照影響，同時防止灰度動態(tài)范圍過小。

公式(15)中為常數，針對多數圖像情形，實驗中設置為0.02，控制平滑的基本程度。為決定局部方差和局部復雜度對應增益所占權重的常數。當＝0時，公式退化為只利用圖像局部復雜度信息，從而更好地保持細節(jié)和紋理信息。當＝1時，公式只利用局部方差信息，控制對灰度突變邊緣的保持，從而消除光暈現象。?[0, 1]，實際應用中結合圖像的結構信息和灰度細節(jié)對取值進行設置，本文中選取＝0.3。

2.2 多尺度反射分量獲取

利用多尺度Retinex模型對大、中、小尺度下SSR算法結果進行綜合，在利用引導濾波核函數進行低通環(huán)繞時，尺度參數的設置規(guī)律可以依圖像維數設置小、中、大3個尺度，預濾波圖像的尺寸為×。的大小以(2＋1)2的形式決定濾波方形窗的大小。結合實驗結果，可以總結出的取值范圍是由圖像自身的信息決定的，小尺度取值范圍為[1,r]，中等尺度的取值范圍為[r, r]，大尺度的取值范圍為[mid,max]，[]代表向下取整操作。

其中minmid，max分別如式(18)(19)(20)所示：

min＝[min(,)/2] (18)

max＝[min(,)/2－1] (19)

式中：代表多尺度Retinex方法選取尺度的個數，此處取值為3。利用公式(3)對如上設置求取的單尺度結果融合，進一步獲得多尺度的反射分量結果(,)。

2.3 最終增強結果生成

基于改進引導濾波的MSR算法得到反映物體本質信息的多尺度細節(jié)，可單獨地對其進行細節(jié)增強，最簡單的方法是通過對反射分量的灰度值乘上一個大于1的常數來實現。但如此就會在放大小細節(jié)的同時，使得高亮區(qū)域出現過增強現象。本文設置依細節(jié)灰度層級可變的增益因子對多尺度反射結果進行增強。此時增強結果仍存在灰度值范圍相對集中，圖像對比度低等問題，動態(tài)范圍較小。為了得到更好的增強效果，在反射分量中去除最小偏移量，旨在去除(,)中較低的不可有效顯示的邊界灰度部分，進一步通過Gamma校正，從而改善圖像整體視覺質量。最終增強結果￠(,)滿足：

式中：為控制過增強的限定因子，本文中取5時能獲得良好結果。取值范圍為[1, ＋￥]，本文取3適宜多幅圖像。為以細節(jié)強度為變量的局部自適應增強因子，取值滿足如式(22)所示函數形式：

函數關系符合依強度增大而衰減，但最小值要大于1。1為2，限制細節(jié)放大的最大倍數，2取值范圍為[1, 1.5]。本文2取值為1.2。反映放大系數隨細節(jié)強度衰減的程度。經上述過程，可以得到有效消除“光暈偽影”，避免灰度過增強，細節(jié)清晰的最終圖像，本文算法尤其對暗區(qū)細節(jié)表現出較好的增強效果。

3 實驗結果與分析

為驗證算法的有效性，本文在Matlab R2011a平臺（處理器為Intel Core雙核，主頻為2.53GHz，內存2GB）上，將本文算法與多種基于Retinex原理算法進行比較，包括SSR算法，MSR算法，基于雙邊濾波的B-SSR算法，基于未改進引導濾波的多尺度G-MSR算法。以上對比算法的參數設置如下：①SSR參數設置為＝120。②MSR參數設置為15，80，240。③B-SSR算法的雙邊濾波參數設置為＝15，S＝100，R＝0.3。④G-MSR算法參數的設置根據式(18)(19)(20)確定。本文算法的參數設置為alpha＝0.3，局部信息度量的窗口為5×5，多尺度的尺度參數設置與G-MSR算法相同。

3.1 主觀視覺效果評價：

本文選取3幅具有代表性的室外遠距離、室內、室外近距離紅外圖像進行主觀視覺驗證，3組實驗的結果分圖4，圖5，圖6所示。

由圖4，圖5，圖6可以看出，SSR算法獲取的圖像動態(tài)范圍過于單一?；陔p邊濾波Retinex算法在處理圖像時在對比度強烈處光暈現象較為明顯，尤其在圖4矩形框局部細節(jié)處，樓宇與天空交界面B-SSR方法光暈表現尤為突出。MSR算法因多尺度融合可以獲取細節(jié)更加豐富的圖像增強結果，但因圖像對比度低，圖像整體視覺效果較差。基于引導濾波的G-MSR算法因良好的邊緣保持能力，有效減弱了光暈現象，但對圖6人的輪廓處仍存在微弱的光暈偽影。本文算法處理的圖像結果在有效去除光暈現象的同時，能夠很好地突顯暗區(qū)的細節(jié)紋理信息。圖像的整體對比度和清晰度得到了明顯的提高，具有較好的視覺效果。

3.2 定量指標對比分析

圖4 室外遠距離場景的增強結果比較

圖5 室內場景的增強結果比較

圖6 室外近距離場景的增強結果比較

4 結論

本文通過分析傳統(tǒng)Retinex算法處理紅外圖像存在光暈偽影和細節(jié)增強不足的原因，利用圖像局部信息對引導濾波中的平滑參數進行自適應設置，進行區(qū)域可變的低通濾波光照估計過程，從而實現對光照分量的準確估計。對保持細節(jié)和光暈消除的多尺度本質信息，以偏移調整和Gamma校正改善圖像亮度和對比度，實驗結果表明，本文方法能夠實現對光暈偽影的消除和細節(jié)的增強，能夠獲得對比度較好，圖像視覺效果清晰的增強效果。本文算法尤其對整體亮度較低的紅外圖像有較好地增強效果，可有效提升暗區(qū)細節(jié)信息，但對亮度較高的紅外圖像增強效果受偏移調整和Gamma校正中參數影響較大，會出現過沖現象。在后續(xù)工作中，研究其他的有界運算替代原有的對數域運算，從而更好地避免灰度過沖和越界現象的發(fā)生，將是接下來的關注方向。

表1 圖像定量評價指標對比

[1] 莫春和, 段錦, 付強, 等. 國外偏振成像軍事應用的研究進展（下）[J]. 紅外技術, 2014, 36(4): 265-270.

MO Chun-he, DUAN Jin, FU Qiang, et al. Review of polarization imaging technology for international military application(Ⅱ)[J]., 2014, 36(4): 265-270.

[2] FAN Zun-lin, BI Du-yan, HE Lin-yuan, et al. Noise suppression and details enhancement for infrared image via novel prior[J]., 2016, 74: 44-52.

[3] 龔璐, 沈國土, 蔡繼光, 等. 典型物體表面溫度的測量及初步計算[J]. 紅外技術, 2013, 35(7): 439-442.

GONG Lu, SHEN Guo-tu, CAI Ji-guang, et al. Measurement and preliminary calculation of typical object surface temperature[J]., 2013, 35(7): 439-442.

[4] JOBSON DANIEL J, RAHMAN Zia-ur, WOODELL Glenn A. Properties and performance of a center/surround Retinex[J]., 1997, 6(3): 4 51-462.

[5] KIMMEL Ron, ELAD Michael, SHAKED Doron, et al. A variation framework for Retinex[J]., 2003, 52(1): 7-23.

[6] JOBSON Daniel J, RAHMAN Zia-ur, WOODELL Glenn A. A multi-scale Retinex for bridging the gap between color images and the human observation of scenes[J]., 1997, 6(7): 965-976.

[7] ELAD Michael. Retinex by two bilateral filters[C]//, 2005, 3459: 217-229.

[8] 許欣, 陳強, 王平安, 等. 消除光暈現象的快速Retinex圖像增強[J]. 計算機輔助設計與圖形學學報, 2008, 20(10): 1326-1331.

XU Xin, CHEN Qiang, WANG Ping-an, et al. A fast halo-free image enhancement method based on Retinex[J]., 2008, 20(10): 1326-1331.

[9] 汪榮貴, 張璇, 張新龍, 等. 一種新型自適應Retinex圖像增強方法研究[J]. 電子學報, 2010, 38(12): 2934-2936.

WANG Rong-gui, ZHANG Xuan, ZHANG Xin-long, et al. A novel adaptive Retinex algorithm for image enhancement[J].-, 2010, 38(12): 2934-2936.

[10] 畢國玲, 續(xù)志軍, 趙建, 等. 基于照射-反射模型和有界運算的多譜段圖像增強[J]. 物理學報, 2015, 64(10): 10071-1-10071-9.

BI Guo-ling, XU Zhi-jun, ZHAO Jian, et al. Multispectral image enhancement based on irradiation-reflection model and bounded operation[J]., 2015, 64(10): 10071-1-10071-9.

[11] LEE Jong-Sen. Digital image enhancement and noise filtering by use of local statistics[J]., 1980, 2(2): 165-168.

[12] 劉艷莉, 桂志國, 張權, 等. 基于局部梯度和復雜度的反銳化掩膜法[J].儀器儀表學報, 2014, 35(7): 1540-1545.

LIU Yan-li, GUI Zhi-guo, ZHANG Quan, et al. Unsharp masking algorithm based on local gradient and complexity[J]., 2014, 35(7): 1540-1545.

[13] 于天河. 針對人眼視覺特性的紅外圖像增強技術研究[D]. 哈爾濱: 哈爾濱工業(yè)大學, 2009: 36-40.

YU Tian-he. Research on enhancement technique of infrared image for human visual system[D].:, 2009: 36-40.

Halo-free and Detail Enhancement Based onMulti-scale Retinex for Infrared Image

WEN Haibin，BI Duyan，MA Shiping，HE Linyuan

(,,￠710038,)

Aiming at the drawbacks of traditional Retinex for infrared image which suffer from the halo artifacts and the insufficient in detail enhancement, in this article, a multi-scale Retinex algorithm for infrared image which could remove halo and enhance details was proposed. Firstly, an adaptive smoothing gain was constructed by the local variance and the local complexity. Then the kernel function of improved guided filter was used to estimate the illumination component, the multi-scale Retinex mathematical model was solved in logarithmic domain, the multi-scale reflection components with Halo-free and detail-preserving properties were obtained. Finally, in order to enhance the detail and boost the brightness, reflection component was adaptively enhanced based on gray level, meanwhile, image brightness was improved via offset adjustment and Gamma correction, the final enhanced image was gained. The experimental results demonstrate that, compared with other Retinex enhancement algorithms, our method can efficiently reduce halo artifacts, highlight the detail, achieve a ‘visually pleasing’ enhancement result.

infrared image，Halo-free，detail enhancement，multi-scale Retinex，local information，guide filter

TP391

A

1001-8891(2016)02-0149-08

2015-10-10；

2016-01-11.

溫海濱（1990-），男（滿），內蒙赤峰人，碩士研究生，研究方向是紅外圖像處理。E-mail：whbimg@126.com。

國家自然科學基金（61372167），國家自然科學基金（61379140）。