紅外熱像增強算法發(fā)展研究綜述

孔松濤 謝 義 王 松 王 堃 韓玉軍 蔡 萍

(1. 重慶科技學(xué)院 機械與動力工程學(xué)院， 重慶 401331； 2. 東方希望重慶水泥有限公司， 重慶 408200)

紅外熱像技術(shù)是融合了紅外技術(shù)和圖像成像技術(shù)的數(shù)據(jù)處理技術(shù)，通過采集被檢測對象的紅外熱輻射信號數(shù)據(jù)而得到其表面溫度分布信息，以輸出的二維圖片顯示其測試結(jié)果[1]。被檢測對象所產(chǎn)生的紅外輻射需要經(jīng)歷設(shè)備采集、數(shù)據(jù)傳輸、成像、電信號轉(zhuǎn)換等程序之后才能最終輸出二維圖像。紅外熱像技術(shù)優(yōu)點明顯，如檢測效率高、對被測目標(biāo)無影響、檢測結(jié)果形象直觀等，因而得到了廣泛應(yīng)用[2]。但在實踐中發(fā)現(xiàn)，由于紅外熱像設(shè)備存在不足以及受到復(fù)雜環(huán)境造成的干擾，導(dǎo)致部分紅外成像效果不佳，對后期進行紅外圖像預(yù)處理和缺陷識別造成較大影響。因此，研究人員進行了大量的理論分析和實驗研究，提出了一系列紅外圖像增強算法。

1 紅外熱像存在的不足

紅外熱像的產(chǎn)生過程如圖1所示。與常見的可見光圖像相比，紅外熱像可以更有效地反映檢測對象的溫度場整體信息，結(jié)合適用算法即可進一步挖掘被檢測對象的內(nèi)部信息，如熱設(shè)備內(nèi)部是否發(fā)生堵塞、裂紋、腐蝕等問題及其發(fā)生狀況。紅外熱像技術(shù)因其諸多優(yōu)點而應(yīng)用廣泛，但其不足之處也不容忽視[4]。

圖1 紅外熱像產(chǎn)生過程[3]

(1) 圖像分辨率不高。紅外熱像最終呈現(xiàn)的是被檢測對象的溫度分布信息，采用灰度圖像或進一步轉(zhuǎn)化為偽彩色圖的方式來表現(xiàn)，無圖像陰影，致使顯示的畫面立體感不強。同時，受到探測儀檢測性能及分辨率等因素的影響，紅外熱像中通常會丟失一部分高頻率的細節(jié)信息，導(dǎo)致局部模糊和失真現(xiàn)象。

(2) 圖像視覺效果不佳、對比度低。由于受到波長、檢測距離、大氣衰減、物熱平衡等因素的影響，紅外熱像和可見光成像相比，紋理細節(jié)信息表達不夠清晰。此外，如果被檢測對象處于物體局部較小范圍內(nèi)，其正常區(qū)域與異常位置的熱輻射強度差別不大，局部溫差過小，則紅外熱像檢測對象特征不明顯。

(3) 信噪比偏低。檢測環(huán)境中各種影響因素的不同干擾及檢測設(shè)備的性能差異，給紅外熱像帶來了各種不規(guī)律的噪聲，這些噪聲具有無法預(yù)測和空間分布無規(guī)律的特點。其中，典型噪聲有熱噪聲、1/f 噪聲、電噪聲和非均勻性噪聲等[5]。

(4) 紅外熱像不均勻。紅外熱像技術(shù)的檢測結(jié)果往往受到檢測系統(tǒng)性能的直接影響。紅外探測系統(tǒng)中每個探測單元對不同熱輻射的響應(yīng)率不一致，致使紅外熱像成像不均勻，出現(xiàn)各種亮斑、不規(guī)則條紋、畸變、串?dāng)_等缺陷。

(5) 溫度動態(tài)范圍大。紅外熱像中所蘊含的信息主要包括被檢測對象及其所處環(huán)境的溫度分布情況，不同檢測環(huán)境下的溫差也不盡相同。尤其是在溫度有突變的檢測環(huán)境中，有時溫差會高達幾百度，相應(yīng)的紅外熱像所呈現(xiàn)的溫度動態(tài)范圍也更大。

以上這些不足，極大地影響了紅外熱像技術(shù)在精細檢測技術(shù)領(lǐng)域的進一步應(yīng)用。為了彌補紅外熱像技術(shù)的不足，研究人員在紅外熱像增強算法上作了大量研究。

2 紅外熱像增強算法

紅外熱像增強算法可削弱紅外熱像不利因素的影響。一方面，通過強化和渲染有用信息，弱化或消除無用信息，以最大限度地提高成像效果，提升紅外熱像分辨率。另一方面，通過銳化、偽彩色等一系列處理來改善圖像的模糊度，使其更易識別。隨著社會的發(fā)展，人們迫切希望得到更高質(zhì)量的紅外熱像。由于硬件設(shè)備檢測精度提升難度相對較大，因此，人們通過一系列圖像增強算法來增強紅外熱像的成像質(zhì)量，以滿足各領(lǐng)域?qū)Ω哔|(zhì)量紅外熱像的需求。

2.1 傳統(tǒng)紅外熱像增強算法

傳統(tǒng)紅外熱像增強算法主要分為兩大類，即空間域算法和頻率域算法，其內(nèi)容如圖2所示[7]?？臻g域算法是直接以圖像中各像素點為作用目標(biāo)，采用改變圖像灰度值的方式來提升圖像質(zhì)量，其代表性方法有直方圖均衡、灰度變換、偽彩色處理等。頻率域算法則是對紅外熱像在某種變換域內(nèi)進行操作，通過對變換域中關(guān)鍵參數(shù)的優(yōu)化，達到增強特定區(qū)域圖像質(zhì)量的效果，最后經(jīng)過逆變換得到增強后的圖像[6]。

圖2 傳統(tǒng)紅外圖像增強算法[7]

為了更好地增強紅外熱像的識別效果，需要對傳統(tǒng)算法加以優(yōu)化，并在此基礎(chǔ)上結(jié)合不同算法進行圖像增強處理，達到各類算法優(yōu)勢互補的目的。

2.2 直方圖增強算法

直方圖增強算法是通過調(diào)節(jié)圖像的灰度概率分布范圍，加強檢測目標(biāo)與背景之間的對比度，以便能更好地識別和提取被檢測對象的相關(guān)信息，通常包括直方圖均衡化和直方圖匹配兩大類技術(shù)。直方圖均衡化(histogram equalization，HE)技術(shù)應(yīng)用于多個領(lǐng)域，主要應(yīng)用于圖像增強[8]。因此，紅外熱像也廣泛采用HE技術(shù)進一步完成圖像增強處理。HE算法的目的是，通過調(diào)整圖像中的灰度概率，使圖像中的灰度級均勻分布。其本質(zhì)是，在直方圖中加大局部像素集中分布部分與相鄰灰度級間隔較小部分的間距，減小局部像素分布較少與灰度級間隔較大部分的間距，使各個灰度級在檢測區(qū)域中均勻分布，防止局部對比度過增強，最終達到增強被檢測區(qū)域圖像對比度的目的[9]。

經(jīng)典HE算法比較突出的優(yōu)勢在于運算簡便、容易實現(xiàn)，同時經(jīng)過對灰度級和像素的調(diào)整，使灰度級和像素在檢測區(qū)域的分布近似均勻，適應(yīng)性很強，有助于提升各種圖像的對比度[10]。其主要缺點在于：

(1) 經(jīng)典HE算法會導(dǎo)致灰度級合并，使灰度級的數(shù)量減少，部分細節(jié)信息丟失，局部清晰度變差[11]。

(2) HE算法盡管提升了圖像的對比度，但圖像存在視覺感不強、柔和度效果不佳的問題。同時，由于未對有用信號和噪聲進行識別，當(dāng)獲取的圖像中噪聲較多時，這熱噪聲會得到進一步加強而更加明顯[12]。

(3) HE算法未對圖像中特定像素的空間分布范圍和領(lǐng)域信息進行識別判斷，因而導(dǎo)致對圖像中主、次要內(nèi)容的增強存在盲目性，針對性不強。

經(jīng)過多年發(fā)展，研究人員提出了幾種基于經(jīng)典HE算法的改進算法，主要包括基于變換域均衡化的圖像增強技術(shù)[13-14]、直方圖變分技術(shù)[15]、子直方圖均衡化技術(shù)[16]、修正的直方圖均衡化技術(shù)[17]、局部直方圖均衡化技術(shù)[18]。紅外熱像中的細節(jié)像素很容易淹沒于大量低對比度的背景像素，導(dǎo)致局部圖像模糊不清，影響機器、人工對關(guān)鍵信息的識別和提取效果。

對此，Kun等人提出了一種基于雙平臺直方圖均衡化的自適應(yīng)紅外熱像對比度增強算法，通過搜索局部最大值和預(yù)測最小灰色區(qū)間來確定閾值的上、下限值，以有效地約束紅外熱像的背景，進一步增強圖像的細節(jié)信息[19]。 該算法能有效地增強紅外熱像的對比度，特別是獲取紅外熱像細節(jié)信息的能力有較大突破。

在增強紅外熱像局部對比度的基礎(chǔ)上，Wan等人提出可以同時提升圖像全局對比度的方法。該方法基于粒子群優(yōu)化的局部熵加權(quán)直方圖均衡化[20]，可有效地提升檢測對象與檢測背景的對比度，避免噪聲進一步被放大，最終實現(xiàn)對紅外熱像子圖像的均衡化處理。該方法屬于空間域增強算法，它基于雙平臺閾值直方圖均衡算法，閾值是不變的，因此，對于紅外熱像中不同位置的自適應(yīng)性不足，容易出現(xiàn)過增強現(xiàn)象。

李賢陽等人將空間域和頻率域結(jié)合起來，提出了一種新的圖像增強算法[21]。該算法可以同時提升紅外熱像的局部對比度和全局對比度，降低噪聲。同時，針對低頻分量和高頻分量分別采用不同的增強方法，可有效地弱化對比度的過增強現(xiàn)象。

2.3 紅外熱像降噪算法

圖像降噪是圖像增強的關(guān)鍵。由于受環(huán)境和硬件檢測設(shè)備條件的影響，紅外熱像中通常存在大量噪聲，如背景噪聲、放大器噪聲、探測器噪聲等，嚴重影響紅外熱像的質(zhì)量。傳統(tǒng)紅外熱像降噪方法主要分為幀間降噪法和幀內(nèi)降噪法兩大類。幀間降噪法主要是通過幀間濾波來消除紅外熱像中的白噪聲[22]，可有效保留圖像的邊緣信息，針對時域噪聲的降噪效果較好。幀內(nèi)降噪法主要采用均值濾波、中值濾波等經(jīng)典空域濾波器，運算簡便、速度較快，但可能會出現(xiàn)局部圖像模糊現(xiàn)象[6]。

對于部分紅外熱像的非均勻性噪聲問題，多采用基于標(biāo)定及基于場景的兩大類非均勻校正方法。基于標(biāo)定的方法又可分為兩點校正法和多點校正法，算法簡單易操作、實時性較強、處理效率高。但采用基于標(biāo)定的方法需進行多次停機標(biāo)定，校正精度不高，動態(tài)波動范圍較小[23]?；趫鼍暗男Ｕ椒?，典型的有神經(jīng)網(wǎng)絡(luò)法[24]和時域高通濾波法。采用此類算法，可以直接對輸入的紅外熱像偏移量進行校正，對紅外熱像儀的尺寸要求更低，有利于節(jié)約成本及實現(xiàn)圖像采集設(shè)備小型化的目標(biāo)。

然而，基于場景的非均勻校正方法通常對場景與檢測系統(tǒng)之間的相對運動要求很高，稍有偏差就會導(dǎo)致“鬼影”的產(chǎn)生，視覺效果不甚理想[25-27]。針對此現(xiàn)象，王帥等人提出了一種基于曲面擬合的低頻非均勻性噪聲校正算法，采用交替方向乘子(alternating direction method of multipliers，ADMM)算法確定最優(yōu)曲面的各項參數(shù)[28]。通過實驗驗證，該算法可以消除大部分圖像中的低頻非均勻性噪聲，保留其中大量有效的高頻場景信息，并大幅降低紅外熱像的粗糙度與非均勻性。該算法的缺點是計算量大、用時較長，因此仍需進一步優(yōu)化。

2.4 紅外熱像對比度增強算法

通常紅外成像場景的背景部分溫差較小、溫度較高，有可能受大氣衰減、目標(biāo)物不清晰等因素影響，導(dǎo)致紅外熱像的對比度較低。傳統(tǒng)的紅外熱像對比度增強算法在提升紅外熱像對比度方面較有優(yōu)勢，其中經(jīng)典算法有去冗余均衡法、灰度變換法、Contourlet變換法等[29]。

去冗余均衡法是將紅外熱像的偽灰度區(qū)間中大部分像素數(shù)目為零的灰度級去除，以消除冗余信息。這樣有利于背景段和檢測對象特征段充分利用灰度范圍，從而實現(xiàn)對比度的優(yōu)化[30]。然而，去冗余均衡法不具備普適性，只對特定對象有效。

灰度變換法是針對特定條件、按照一定的函數(shù)變換關(guān)系逐個改變灰度圖像中所有像素灰度值，主要包括線性變換法與非線性變換法。采用灰度變換法，通過對比度拉升、線性擴展、局部壓縮像素少的區(qū)域稀疏像素集中部分等途徑，能夠增強紅外熱像的視覺效果，有效提升對比度。

Contourlet變換法的增強原理是，通過對類似小波的多尺度分解來獲取邊緣奇異點，依據(jù)方向信息將位置相近的奇異點聚集成邊緣輪廓段。該方法具有多方向性、各向異性、多分辨率等特點，利用少量系數(shù)就可以有效獲取圖像中的邊緣輪廓信息，而邊緣輪廓正是紅外熱像中的關(guān)鍵特征信息[31]。

近年來，國內(nèi)外學(xué)者提出了一系列經(jīng)過優(yōu)化改進的紅外熱像增強方法，得到了大量重要研究成果。

3 紅外熱像增強算法的應(yīng)用

3.1 紅外熱像降噪算法的應(yīng)用

紅外熱像降噪過程中，可采用濾波的方式消除大部分噪聲，但同時也存在一些不足。針對傳統(tǒng)中值濾波算法在處理降質(zhì)的紅外熱像產(chǎn)生的濾波盲目性和非自適應(yīng)性問題，張倩提出了一種基于改進偽中值濾波和非局部均值濾波的紅外熱像濾波方法，引入圖像融合技術(shù)以避免因濾波過度而導(dǎo)致圖像細節(jié)信息損失[32]。實驗結(jié)果表明，該方法針對高密度噪聲的紅外熱像有較好的濾波效果。

紅外熱像中的空域噪聲會嚴重影響紅外熱像的質(zhì)量，不利于影響后期對圖像的識別。為此，盧子忱等人利用優(yōu)化過的中值濾波器，對醫(yī)用紅外熱像進行降噪，并通過圖像銳化算法得到了更清晰的圖像邊緣，使被測目標(biāo)局部特征更加顯著，有效地降低了噪聲，提高了紅外熱像的清晰度[33]。為了降低空域噪聲對紅外熱像的影響，張盛偉等人提出一種基于引導(dǎo)濾波的紅外熱像空域條紋噪聲去除方法[34]。通過實驗驗證，該方法不僅可以有效地消除紅外熱像中的空域條紋噪聲，而且還能保證較好的非均勻性校正效果。

常見的醫(yī)學(xué)紅外熱像中往往隱含了許多信號依賴性噪聲，如散斑噪聲和邊緣斷裂。 Aggarwal等人針對探測儀器和環(huán)境帶來的噪聲導(dǎo)致圖像呈現(xiàn)顆粒狀的現(xiàn)象，提出了一種基于噪聲多維成像數(shù)據(jù)集的圖像去噪和邊緣增強方法，采用了基于二維小波變換的自適應(yīng)多尺度積閾值法[35]。仿真結(jié)果顯示，此降噪算法對各類噪聲圖像均有效，但對于受泊松噪聲破壞的圖像處理效果最好，在降噪的同時還有效保留了圖像的邊緣信息。為了更好地保留圖像邊緣的輪廓信息，減小邊緣信息的損失，Park等人提出了一種基于中值濾波的雙邊濾波算法，可消除部分隨機噪聲和脈沖噪聲，并極大地避免圖像輪廓邊緣信息的丟失[36]。

在紅外熱像技術(shù)用于戰(zhàn)爭偵查追蹤和預(yù)警時，作戰(zhàn)環(huán)境的各類干擾因素影響較大。鄒前進等人經(jīng)過研究，將以天空為檢測背景時紅外熱像的空間噪聲分為高斯噪聲和椒鹽噪聲，并對傳統(tǒng)噪聲處理算法與幾種常見紅外熱像噪聲處理算法的信噪比進行了對比。最后，提出了一種基于簡單閾值的改進中值算法，得到的背景圖像變得更加平滑，信噪比提升逾1.2 dB[37]。

3.2 紅外熱像對比度增強算法的應(yīng)用

如物體含有裂紋、腐蝕等微小表面缺陷，其紅外熱像缺陷較小、溫差不大且受各種噪聲的干擾，最終缺陷處的紅外成像就不清晰。采用傳統(tǒng)圖像增強算法得到的紅外熱像內(nèi)部微小損傷部分位置的對比度低，特征不明顯。針對檢測目標(biāo)熱輻射信號弱導(dǎo)致的紅外熱像對比度低的情況，常宏韜等人提出了一種基于小波變換與奇異值分解和閾值濾波相結(jié)合的增強算法，使紅外熱像的對比度得到一定提升，對紋理細節(jié)的處理使視覺效果更佳[38]。賈文晶等人提出將頻率域算法與空間域算法綜合用于紅外熱像增強，可避免傳統(tǒng)紅外熱像處理算法中灰度級減少及細節(jié)部分模糊不清等問題，提高圖像的對比度，特別是在保護裂紋等微小缺陷細節(jié)像素值方面效果較好[39]。但該方法在紅外熱像降噪方面效果不是很理想，局部未能消除的高斯白噪聲仍會對損傷識別造成較大影響。于是，鄒蘭林等人提出了以高頻強調(diào)濾波與非線性灰度轉(zhuǎn)換相結(jié)合的紅外熱像增強算法[40]。實驗結(jié)果顯示，此算法可消除紅外熱像的大部分固有噪聲，使圖像的大量細節(jié)信息得到強化，損傷部分的對比度得到顯著提升，同時還克服了紅外熱像的不均勻性。

紅外熱像通常存在較多背景干擾因素，為了提高對比度和檢測準(zhǔn)確度，往往需要著重突出圖像中的主要缺陷特征信息。為此，顧桂梅等人提出了一種基于NSCT的自適應(yīng)多尺度積閾值鋼軌裂紋紅外熱像增強算法[41]。此算法與傳統(tǒng)的紅外熱像增強算法相比，對清晰度、對比度的提升更有優(yōu)勢(見圖3)；同時，可以更好地突出細節(jié)紋理部分的特征，提高損傷部分與背景的對比度，對紅外熱像的增強效果顯著。不足之處是，運算時間略長，實時性不佳。

為了優(yōu)化運算時間、保證實時性，孔祥陽等人提出了基于互結(jié)構(gòu)正則約束的紅外偏振圖像增強算法[42]。此算法不僅增加了紅外熱像的有用信息，對于紋理細節(jié)信息的對比度和清晰度處理有較大提升，運算速度加快，增強了實時性。

背光條件或紅外熱像儀參數(shù)設(shè)置不當(dāng)，如曝光時間和傳感器增益，將會形成暗圖像和背光圖像，以致紅外熱像中的某些關(guān)鍵特征細節(jié)信息被隱藏在陰影區(qū)域，對比度低，難以有效識別。為此，Shan等人提出了一個基于伽馬校正的目標(biāo)函數(shù)，以實現(xiàn)局部對比度增強和降低跨區(qū)域邊界的灰度突變影響[43]。他們在低亮度區(qū)域拉伸灰色層次，但同時也導(dǎo)致了色調(diào)成分的失真。Wang等人基于Retinex理論提出將紅外熱像劃分成反射率層和光照層[44]。他們在光照層使用特定的對數(shù)函數(shù)，使弱光像素變亮，然后通過聯(lián)合原始的反射率層以及增亮的光照層合成輸出增強后的紅外熱像。實驗對比結(jié)果顯示，此算法顯著增強了紅外弱光區(qū)域圖像的對比度，但同時有可能使局部灰度圖像飽和，進而產(chǎn)生視覺偽影現(xiàn)象。

在紅外弱光區(qū)域圖像對比度增強方面，Kim等人提出一種基于成對目標(biāo)對比度和多尺度細節(jié)增強的圖像增強算法，有效地結(jié)合了全局和局部算法的優(yōu)點，通過最小化代價函數(shù)，得到了最優(yōu)變換函數(shù)[45]。與傳統(tǒng)算法相比，此算法可更有效地提高紅外弱光區(qū)域圖像的質(zhì)量，增強弱光細節(jié)部分與鄰近區(qū)域的對比度。

4 結(jié) 語

對紅外熱像增強算法的不斷改進優(yōu)化將成為提升紅外熱像質(zhì)量的重要研究方向，今后的研究將側(cè)重于以下幾方面：

(1) 硬件檢測性能提升及多種算法聯(lián)合應(yīng)用。當(dāng)受外界干擾因素影響較大時，紅外熱像儀對部分細節(jié)信息的成像效果并不顯著，導(dǎo)致后期的圖像增強處理存在較大難度。因此，還需進一步提高探測儀的檢測精度，增強測溫能力，防止顏色失真。獲得質(zhì)量較好的初始圖片，對后期的紅外熱像算法增強處理將具有重要意義。 通常，一種紅外熱像增強算法只能解決部分問題，不具備普適性。 采用多種增強算法相結(jié)合的方式，就能夠彌補各種算法的不足，從局部到整體提升紅外熱像的質(zhì)量。

(2) 對紅外熱像中不同的結(jié)構(gòu)特征選擇相應(yīng)的算法，有針對性地提高圖像關(guān)鍵信息部分的對比度。在改善紅外熱像對比度的相關(guān)算法中，基于傳統(tǒng)的紅外熱像增強方法，如灰度映射和直方圖修正算法等可以較好地改善紅外熱像的局部和整體對比度；然而，得到的部分圖像仍存在局部對比度過低、細節(jié)信息不全的問題。其中很大一部分原因是，未對不同圖像結(jié)構(gòu)特征針對性地進行對比度增強處理。根據(jù)紅外熱像中的不同背景亮度處理對應(yīng)的映射關(guān)系，將會是克服傳統(tǒng)灰度映射算法不足的關(guān)鍵。

(3) 發(fā)展基于深度學(xué)習(xí)的紅外熱像增強算法。其核心在于，通過卷積神經(jīng)網(wǎng)絡(luò)的卷積層或堆棧稀疏去噪自編碼器的編碼層自動學(xué)習(xí)目標(biāo)圖像的數(shù)據(jù)信息，從而得到比較清晰的低噪聲圖像。近年來，隨著神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)庫不斷豐富，深度學(xué)習(xí)算法得到了迅速發(fā)展。其中，卷積神經(jīng)網(wǎng)絡(luò)具有強大的特征學(xué)習(xí)能力，對紅外熱像降噪和關(guān)鍵信息的提取發(fā)揮著重要的作用，發(fā)展前景良好。