可見光與紅外圖像融合研究現(xiàn)狀及展望＊

任海鵬

（91550部隊20分隊 大連 116023）

1 引言

1.1 圖像融合概念

圖像融合是指按照一定的規(guī)則，把同一目標(biāo)或同一場景的多個傳感器的成像或單一傳感器的多次成像進(jìn)行一定的處理，生成一幅信息更全面、精確和穩(wěn)定的新圖像，包含了多個圖像的冗余信息和互補(bǔ)信息。

可見光與紅外圖像融合屬于典型的圖像融合，是指綜合和提取可見光與紅外圖像的特征信息，使得同一場景圖像既保留可見光圖像高的空間分辨率和豐富的紋理細(xì)節(jié)信息，又顯示場景中熱目標(biāo)區(qū)域[1～2]。

1.2 圖像融合研究意義

紅外成像具有被動工作、抗干擾性強(qiáng)、目標(biāo)識別能力強(qiáng)、全天候工作等特點。但隨著復(fù)雜戰(zhàn)場環(huán)境中目標(biāo)靈活性和機(jī)動性的不斷提高，偽裝和隱身能力的不斷增強(qiáng)，加之紅外圖像本身存在著對比度低、邊緣模糊、信噪比低、成分復(fù)雜等缺點，使得目標(biāo)檢測識別變得更加困難。相比之下，可見光傳感器是利用光的反射率成像的，具有光譜信息豐富、分辨率高、動態(tài)范圍大等優(yōu)點，但其缺陷是在夜視和低能見度環(huán)境下的對比度低，成像效果不理想[3]。

與單獨使用紅外或可見光圖像均存在諸多不足相比，可見光與紅外圖像融合技術(shù)能夠有效地綜合和發(fā)掘它們的特征信息，增強(qiáng)場景理解，突出目標(biāo)，有利于在隱藏、偽裝、迷惑的情況下更快、更精確地探測和識別目標(biāo)，甚至獲取目標(biāo)的狀態(tài)信息等[4～5]。

1.3 圖像融合應(yīng)用進(jìn)展

目前，可見光與紅外圖像融合系統(tǒng)已經(jīng)以星載、機(jī)載、車載及艦載等方式廣泛應(yīng)用于空間監(jiān)測、軍事偵察、醫(yī)學(xué)成像、目標(biāo)識別、安全監(jiān)控機(jī)場安檢和森林消防等領(lǐng)域[2～10]。

1.3.1 夜視系統(tǒng)

2002年，英國Octec公司和 Waterfall Solution公司[6]聯(lián)合開發(fā)了用于警用直升機(jī)上的圖像融合系統(tǒng)，該系統(tǒng)可將紅外和彩色可見光視頻圖像融合，其輸出圖像具有近似于可見光圖像的自然彩色效果。2005年，美國的William[7]提出了一種服務(wù)于夜間駕駛、基于離散Haar小波變換的圖像融合算法，這種方法可以把來自照相機(jī)不同波段的三個圖像融合在一起。

2007年，BAE公司[8]從美軍獲得設(shè)計開發(fā)數(shù)字ENVG的合同，這種夜視鏡可將從紅外和可見光傳感器獲得的視頻圖像進(jìn)行數(shù)字融合，并呈現(xiàn)在彩色顯示屏上，而且能夠通過通信手段在多個士兵間實現(xiàn)圖像資源共享。

1.3.2 安全監(jiān)控

2003年，美國Lehigh大學(xué)[9]研發(fā)了用于武器檢測的紅外和彩色可見光圖像融合系統(tǒng)，該系統(tǒng)同樣能夠產(chǎn)生具有自然效果的彩色融合圖像。2007年，美國Infrared Solutions公司[10]研制了基于紅外和可見光圖像融合技術(shù)的商用相機(jī)，該產(chǎn)品在預(yù)防性維護(hù)和過程監(jiān)控方面具有很大的應(yīng)用價值。

1.3.3 人臉檢測

美國的Aglika[11]研究了基于紅外和可見光圖像融合的人臉識別。他提出了基于像素、在小波域內(nèi)實現(xiàn)，并且使用遺傳算法來決定如何合并紅外和可視化信息的融合方法。新加坡的Jiang[12～13]研究了用于人類檢測的紅外和可見光圖像融合問題。研究中提出了一種簡單有效的圖像融合方案，這種方案采用多級技術(shù)來完成圖像融合，以實現(xiàn)更好的人類監(jiān)測和監(jiān)視，大大降低了在圖像融合時丟失圖像細(xì)節(jié)信息的可能性。

2 可見光與紅外圖像融合的層次及過程

2.1 圖像融合的層次

一般來說，圖像融合流程主要包括：圖像預(yù)處理、圖像配準(zhǔn)、圖像融合、特征提取以及識別與決策，如圖1。按信息抽象程度，圖像融合一般分為三個層次：像素級圖像融合、特征級圖像融合、決策級圖像融合。圖像融合的這三種不同層次的融合不是互相獨立的，在實際的應(yīng)用中，可能同時在不同的融合層次上進(jìn)行融合。

圖1 可見光與紅外圖像融合流程圖

2.2 圖像融合的特殊性

與可見光圖像灰度層次分明，紋理細(xì)節(jié)信息豐富，邊緣“陡”相比，紅外圖像具有空間分辨率低，紋理特征不明顯，圖像邊緣平滑等特點，二者特征的顯著差異既增強(qiáng)了圖像融合的互補(bǔ)性，也給圖像融合過程帶來了有別于一般圖像融合的困難和挑戰(zhàn)，如難以直接利用圖像灰度信息進(jìn)行紅外和可見光匹配等，使得可見光與紅外圖像融合過程多結(jié)合有效的圖像特征提取、配準(zhǔn)和融合分類進(jìn)行，特別是在融合過程中，往往將紅外圖像顯著的熱目標(biāo)特征主動融進(jìn)可見光圖像豐富的背景信息中，達(dá)到豐富背景信息中凸顯熱目標(biāo)特征的視覺效果。

3 可見光與紅外圖像融合算法

目前報道的圖像融合算法很多，但并不都適用于紅外與可見圖像融合。本部分重點介紹可用于可見光與紅外圖像融合的算法，圖2為采用不同圖像融合算法獲得的融合圖像[14～20，23]。

3.1 像素級圖像融合算法

像素級圖像融合可大致分為三大類：空間域簡單代數(shù)法、基于變換域的圖像融合和基于多尺度分解的圖像融合。在像素級圖像融合過程中，諸多融合算法很少獨立運行，往往根據(jù)融合目的不同和源圖像性質(zhì)差異組合應(yīng)用。

3.1.1 空間域簡單代數(shù)法

空間域簡單代數(shù)法主要包括簡單的圖像融合方法和基于統(tǒng)計的圖像融合方法。簡單的圖像融合方法是直接對源圖像中的各對應(yīng)像素分別進(jìn)行選擇、平均或加權(quán)平均、多元回歸或其它數(shù)學(xué)運算等處理后，最終合成一幅融合圖像。這類融合方法具有算法簡單、融合速度快的優(yōu)點，但直接使用往往難以取得滿意效果，可作為基礎(chǔ)算法運用到復(fù)雜融合方法中。

圖2 原始圖像和不同融合算法得到的融合圖像

采用統(tǒng)計方法進(jìn)行圖像融合是從信號與噪聲的角度考慮圖像融合問題的，它在建立成像傳感器統(tǒng)計模型的基礎(chǔ)上，確定融合優(yōu)化函數(shù)，進(jìn)行參數(shù)估計，通過融合處理來降低或消除融合圖像中的噪聲成分，增強(qiáng)融合圖像的信噪比。

3.1.2 基于變換域的圖像融合算法

目前基于變換域的圖像融合算法是研究熱點，常用的變換域圖像融合方法有：MIT融合法、假彩色圖像融合法、主成分分析法，還有基于其他圖像變換（如DCT）的融合算法。

MIT融合法以中心－環(huán)繞分離網(wǎng)絡(luò)為基礎(chǔ)，應(yīng)用生物視覺拮抗特征融合紅外和可見光圖像，對融合結(jié)果的顏色進(jìn)行了重新映射，使得融合圖像具有適合人眼觀察的自然色彩。這種算法結(jié)構(gòu)靈活、適用性廣，可根據(jù)輸入圖像傳感器的模式和數(shù)目對算法結(jié)構(gòu)進(jìn)行調(diào)整。

基于彩色（或假彩色）空間描述變換的圖像融合算法是在人眼對顏色的敏感程度遠(yuǎn)超過對灰度等級的敏感程度這一視覺特性的基礎(chǔ)上提出的融合算法。其關(guān)鍵是要融合圖像的可視效果盡量直觀，一般是通過彩色映射的方法將輸入圖像映射到另一個彩色空間中，得到一幅假彩色的融合圖像。

3.1.3 基于多尺度分解的圖像融合算法

一幅圖像經(jīng)過多分辨率分解可得到一組不同分辨率的圖像表示，不同分辨率下的圖像包有對應(yīng)尺度的關(guān)鍵信息。基于多分辨率分解的圖像融合方法其融合過程就是在不同尺度、不同空間分辨率上分別進(jìn)行的。按采用的多尺度分解方法不同可分為：傳統(tǒng)的基于金字塔變換的圖像融合算法和基于小波變換的圖像融合算法。

金字塔變換融合法最早由Burt等[14～15]于1983年提出，是現(xiàn)在較為常用的圖像融合方法，用于圖像編碼中，是一種多尺度、多分辨率的方法。在這類算法中，原圖像不斷地被濾波，形成一個塔狀結(jié)構(gòu)。金字塔圖像融合算法可以在不同尺度、不同空間分辨率上有針對性地突出各圖像的重要特征和細(xì)節(jié)信息，從而有可能達(dá)到更加符合人或機(jī)器視覺特性的融合效果。

與金字塔圖像融合算法相比，小波變換也是一種多尺度、多分辨率分解，但是是非冗余的[16～17]。小波變換的圖像融合算法，容易提取原始圖像的結(jié)構(gòu)信息和細(xì)節(jié)信息，具有完善的重構(gòu)能力，保證了圖像在分解過程中沒有信息損失和冗余信息產(chǎn)生。不足之處是融合過程中小波對應(yīng)的分解和重構(gòu)濾波器系數(shù)及分解尺度的選擇，對影像融合的效果有很大的影響。

3.2 特征級圖像融合算法

特征級融合是將由多源數(shù)據(jù)中分別提取的特征匯總在一起形成新的特征集，以后據(jù)此再進(jìn)行決策。一個特征圖像融合系統(tǒng)主要包括四部分：信息的獲取、信息加工和處理、特征提取和信息融合。特征級融合的常用方法主要有：基于梯度特征、紋理特征和模糊特征區(qū)域的多尺度圖像融合[18]。

3.2.1 基于梯度特征的方法

圖像的梯度特征反映了圖像的一種變換系數(shù)特征。圖像的梯度在各個像素點進(jìn)行計算，每個像素點反映四個方向的梯度，分別是橫向、縱向以及兩個對角線方向。為了在圖像各個尺度上反映圖像的這些梯度特征，必須在這種梯度算子與傳統(tǒng)的拉普拉斯金字塔多尺度變換方法之間建立一種特殊的聯(lián)系。

3.2.2 基于紋理特征的方法

利用梯度特征的多尺度變換的圖像融合方法僅僅考慮了圖像在不同尺度的圖像變換系數(shù)特征，而沒有考慮各個尺度上的紋理特征。紋理有三個主要標(biāo)志：1）某種局部的序列性在比該序列更大的區(qū)域內(nèi)不斷重復(fù)；2）序列是由基本部分非隨機(jī)排列組成的；3）各部分大致是均勻的統(tǒng)一體，在紋理區(qū)域內(nèi)的任何地方都有大致相同的結(jié)構(gòu)尺寸。

3.2.3 基于模糊特征區(qū)域的方法

在每幅圖像當(dāng)中，由于其中的每個像素都是屬于圖像的某一個區(qū)域，基于模糊區(qū)域特征的圖像融合方法是在多分辨率分析的基礎(chǔ)上，根據(jù)圖像每層的低頻分量進(jìn)行K均值聚類，將低頻圖像分解成重要區(qū)域、次重要區(qū)域以及背景區(qū)域；圖像各個區(qū)域針對不同屬性進(jìn)行模糊化，根據(jù)每個區(qū)域各自的模糊隸屬度來決定每一部分區(qū)域的融合策略，最終得到融合圖像的多分辨率表示，再對其進(jìn)行多分辨率反變換就可以得到圖像的融合結(jié)果。

3.3 決策級圖像融合算法

決策級融合是在信息表示的最高層次上進(jìn)行融合處理。它基于一些認(rèn)識模塊，模擬人的識別、分析、推理的思維過程，也稱為符號級或判決級融合。其缺點是預(yù)處理代價高，且需要一整套成熟的信息優(yōu)化理論、特征提取方法以及豐富的專家知識。

3.3.1 神經(jīng)網(wǎng)絡(luò)法

神經(jīng)網(wǎng)絡(luò)法有大規(guī)模并行處理、連續(xù)時間動力學(xué)和網(wǎng)絡(luò)全局作用等特點，將存儲體和操作合二為一。Newman等[19]提出了六種不同類型的雙模態(tài)神經(jīng)元用于可見光和紅外圖像的融合。Fechner等[20]提出基于多層前向神經(jīng)網(wǎng)絡(luò)的圖像融合方法，通過訓(xùn)練多層前向神經(jīng)網(wǎng)絡(luò)識別前視紅外圖像中感興趣的像素，將其融入可見光圖像中。

3.3.2 貝葉斯估計方法

貝葉斯理論是Bayes于1763年提出的，其基本原理是：給定某假設(shè)的先驗似然估計，隨著新的證據(jù)（觀測數(shù)據(jù)）的到來，貝葉斯方法可以更新該假設(shè)的似然函數(shù)[3]。貝葉斯推理是處理隨機(jī)模式的重要方法，因此針對不同的應(yīng)用背景和各種方法的不足，不少學(xué)者致力于基于貝葉斯決策理論的融合方法的研究。但該方法需先驗知識，且當(dāng)多個可解的假設(shè)和多個條件相關(guān)時顯得很復(fù)雜。

3.3.3 Dempster－Shafer推理方法

D－S證據(jù)理論是對概率論的進(jìn)一步擴(kuò)充，適用于專家系統(tǒng)、人工智能、模式識別和系統(tǒng)決策等領(lǐng)域的實際問題。作為Bayes推理的延伸，D－S理論無須預(yù)先知道有關(guān)的先驗概率就可進(jìn)行證據(jù)融合。但問題是怎樣才能有效地處理矛盾的證據(jù)和冪指數(shù)增長的計算量等[18]。

3.4 靜態(tài)融合向動態(tài)融合的延伸

近年來，靜態(tài)圖像的融合問題得到廣泛研究，動態(tài)圖像融合也因安全監(jiān)控、人臉識別、工業(yè)監(jiān)測、智能交通等領(lǐng)域的迫切需求而逐漸成為熱門研究領(lǐng)域。Oliver等[13]提出了基于離開小波框架變換的多傳感器動態(tài)圖像融合算法，但該算法依然是對多傳感器獲得的序列圖像按靜態(tài)圖像的融合方法處理的。

敬忠良[23]將序列圖像超分辨率復(fù)原和運動目標(biāo)檢測理論用于多傳感器動態(tài)圖像融合中，較好地利用了序列圖像在時間軸上的運動信息。這種融合算法利用了兩種成像傳感器所成圖像的空間灰度信息和序列圖像在時間軸上的運動信息，融合后的序列圖像既有較好的目標(biāo)指示特性，又有高清晰度的背景信息，有利于提高監(jiān)控人員對目標(biāo)情景的感知能力。

4 結(jié)語

4.1 存在的問題

可見光與紅外圖像由于相關(guān)性小，其配準(zhǔn)相當(dāng)復(fù)雜，目前尚有許多難點問題。有針對性地研究具有自動配準(zhǔn)功能的紅外和可見光圖像，是提高整體融合效率和性能的前提。雖然有一些評價圖像融合效果的指標(biāo)和方法，但這些指標(biāo)和方法只是反映圖像融合效果的普通的、一般性的理論，目前還不能有效反映出融合效果與特定應(yīng)用目的的實際接近程度。

此外，目前對于多源動態(tài)圖像融合算法的研究較少。如果以靜態(tài)圖像融合方法對多傳感器獲得的序列圖像逐幀進(jìn)行融合處理，則不能利用序列圖像在時間軸上的運動信息來指導(dǎo)圖像融合過程，如何利用多傳感器序列圖像中的運動信息目前還是一個難點。

4.2 新的研究思路

在追求實時性和可靠性的同時，圖像融合技術(shù)的研究開始強(qiáng)調(diào)融合圖像應(yīng)具有符合人類視覺感知的自然色彩效果和良好的顏色恒常性。目前研究人員主要還是用主觀方法來評價彩色圖像融合的質(zhì)量，開發(fā)考慮人類視覺特性和圖像色彩自然性的客觀評價方法已成為必然趨勢。對于特定場景和特定目標(biāo)的融合系統(tǒng)開發(fā)，在先驗知識驅(qū)動下，應(yīng)實現(xiàn)自動、快速、準(zhǔn)確融合。

4.3 發(fā)展趨勢

在實際應(yīng)用中，可見光與紅外融合的源圖像來源廣泛，應(yīng)用目的多種多樣，很難僅憑某一種算法就能達(dá)到融合目的。因此，必然帶來融合算法或融合圖像的優(yōu)選問題。是根據(jù)源圖像性質(zhì)和應(yīng)用目的選擇算法進(jìn)行圖像融合，還是在遍歷所有算法形成各自融合圖像后進(jìn)行優(yōu)選，或者二者兼而有之。

可見光與紅外圖像融合是現(xiàn)代信息技術(shù)與模式識別、人工智能、圖像分類、目標(biāo)檢測與識別等多學(xué)科交叉、綜合、延伸產(chǎn)生的新的科學(xué)研究方向，科學(xué)技術(shù)的發(fā)展必將使圖像融合技術(shù)在越來越多的領(lǐng)域得到深入廣泛的應(yīng)用。隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，大規(guī)模、分布式相結(jié)合的圖像融合系統(tǒng)已經(jīng)成為信息融合技術(shù)發(fā)展的重要趨勢。

[1]錢小燕，韓磊，王幫峰.紅外與可見光圖像快速融合算法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2011，23（7）：1211－1216.

[2]Riley T，Smith M.Image fusion technology for security and surveillance applications[A].Proc.SPIE，2006，6402：1－12.

[3]劉從義.可見光與紅外動態(tài)圖像融合方法及應(yīng)用研究[D].上海：上海交通大學(xué)，2007.

[4]Smith M I，Heather J P.Review of image fusion technology in 2005[A].Proc SPIE，2005，5782：29－45.

[5]Constantinos S P，Pattichis M S，Tzanakou E M.Medical imaging fusion applications：An overview [A].Conference Record of the 35th Asilomar Conference on Signals，Systems and Computers.2001，2：1263－1267.

[6]M.I.Smith，A.N.Ball，D.Hooper.Real－time image fusion：A vision aid for helicopter pilotage[A].Proc.SPIE，2002，4713：30－41.

[7]William F H.Application of the Discrete Haar Wavelet Transform to image fusion for nighttime driving[A].Intelligent Vehicles Symposium，2005：273－277.

[8]http：／／www.baesystems.com／Newsroom／NewsReleases／2007／autoGen＿10772913162.html.

[9]Xue Z，Blum R S.Concealed weapon detection using color im－age fusionA.The 6th International Conference of Information Fusion，2003，1：622－627.

[10]Schmidt R.Benefits of IR／visible fusion [A].Proc.SPIE，2007，6541：1－6.

[11]馬東輝，薛群，柴奇，等.基于圖像信息的紅外與可見光圖像融合方法研究[J].紅外與激光工程，2011，40（6）：1168－1171.

[12]王嶺雪.基于生物視覺特性的夜視圖像彩色融合技術(shù)研究[D].北京：北京理工大學(xué)，2003.

[13]許 輝，袁軼慧，常本康.可見光與紅外融合圖像反射與輻射光譜分析[J].紅外技術(shù)，2011，33（7）：420－423.

[14]Burt P J，Adelson E H.The Laplacian pyramid as a compact image code[A].IEEE Trans Commun，1983，31（4）：532－540.

[15]Meek T R.Multi resolution image fusion of thematic mapper imagery with synthetic aperture radar imagery [D].USA：Utah State University，1999.

[16]崔巖梅.一種基于小波變換的多尺度多算子圖像融合方法[J].光學(xué)技術(shù)，1999（4）：37－39.

[17]李樹濤，王耀南.基于樹狀小波分解的多傳感器圖像融合[J].紅外與毫米波學(xué)報，2001，20（3）：119－222.

[18]王潤生.信息融合[M].北京：科學(xué)出版社，2007：219－220.

[19]Newman E A，Hartline P H.Integration of visual and infrared information in bimodal neurons of rattlesnake[J].Optic tectum.Science，1981，213：789－791.

[20]Fechner T，Godlewski G.Optimal fusion of TV and infrared images using artificial neural networks[A].Proceedings of SPIE，1995，2492：919－925.

[21]付冬梅，王文濤.基于紅外熱圖像的分區(qū)域RANSAC匹配算法[J].計算機(jī)與數(shù)字工程.2010（3）.

[22]張良，邵琳.圖像融合在高光譜遙感數(shù)據(jù)處理中的應(yīng)用[J].計算機(jī)與數(shù)字工程.2010（2）.

[23]敬忠良，肖剛，李振華.圖像融合—理論與應(yīng)用[M].北京：高等教育出版社，2007：179－180.