光電載荷下的紅外和可見(jiàn)光圖像融合綜述

劉爽利，黃雪莉，劉 磊，謝 宇，張錦寶，楊江楠

西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621000

近年來(lái)，高空偵察技術(shù)對(duì)防空安全有著重要的意義，如結(jié)合紅外和可見(jiàn)光傳感器的光電吊艙被廣泛應(yīng)用于無(wú)人機(jī)偵察中。由于機(jī)載光電吊艙存在高速運(yùn)行、抖動(dòng)等原因，其光電探測(cè)模塊所拍攝的紅外與可見(jiàn)光圖像會(huì)出現(xiàn)幾何畸變、模糊退化以及亮度和色彩失真等問(wèn)題，所以機(jī)載光電載荷下的紅外與可見(jiàn)光圖像融合算法與傳統(tǒng)的，如在地面上靜止的吊艙應(yīng)用到行人檢測(cè)、軍事檢測(cè)等圖像融合算法存在較大差異。所以針對(duì)遠(yuǎn)距離弱小目標(biāo)，提出能夠?qū)崟r(shí)融合復(fù)雜背景紅外與可見(jiàn)光圖像各自優(yōu)勢(shì)的圖像處理算法、提高后續(xù)檢測(cè)跟蹤精度成為當(dāng)下需要解決的難題。

關(guān)于圖像融合的研究和綜述較多[1-3]，但針對(duì)光電吊艙這一應(yīng)用背景下的紅外與可見(jiàn)光圖像融合算法工作進(jìn)行整理的相對(duì)較少，且在無(wú)人機(jī)上光電吊艙所拍攝的高空數(shù)據(jù)集沒(méi)有公開。本文結(jié)合光電載荷背景下圖像融合過(guò)程中弱小目標(biāo)、紋理信息缺失和計(jì)算效率的問(wèn)題，總結(jié)近年來(lái)紅外與可見(jiàn)光傳統(tǒng)圖像融合方法的進(jìn)展，分析了現(xiàn)在還未解決的問(wèn)題以及對(duì)未來(lái)研究的展望，對(duì)后續(xù)光電吊艙下的圖像融合技術(shù)的改進(jìn)起到參考價(jià)值和推動(dòng)作用。

1 介紹

掌握戰(zhàn)場(chǎng)態(tài)勢(shì)的發(fā)展和瞬時(shí)變化的情報(bào)信息是獲取未來(lái)戰(zhàn)場(chǎng)主動(dòng)權(quán)的關(guān)鍵，為實(shí)現(xiàn)這一目標(biāo)，需要能精確、實(shí)時(shí)地采集情報(bào)信息的系統(tǒng)裝備[4]。過(guò)去主要由光學(xué)偵察衛(wèi)星和有人駕駛偵察飛機(jī)承載這類裝備，但用偵察衛(wèi)星對(duì)某一區(qū)域進(jìn)行全天連續(xù)監(jiān)視，必須擁有一個(gè)龐大的星群，其裝備費(fèi)用十分驚人[5]。如何提高有人機(jī)的戰(zhàn)場(chǎng)生存能力，避免或減少飛行人員傷亡或被俘事件是各國(guó)面臨的難題[5]。

根據(jù)載機(jī)平臺(tái)不同，機(jī)載光電載荷可以分為：固定翼作戰(zhàn)飛機(jī)機(jī)載光電載荷、直升機(jī)機(jī)載光電載荷、無(wú)人機(jī)機(jī)載光電載荷等。按照任務(wù)使命和使用需求，機(jī)載光電載荷分為：光電探測(cè)與對(duì)抗系統(tǒng)、輔助導(dǎo)航系統(tǒng)、情報(bào)收集、偵察與監(jiān)視系統(tǒng)、搜索跟蹤瞄準(zhǔn)系統(tǒng)，其中偵察、瞄準(zhǔn)系統(tǒng)應(yīng)用最為廣泛光電吊艙的應(yīng)用范圍已經(jīng)由最初的偵察監(jiān)視，逐步向遠(yuǎn)程預(yù)警、網(wǎng)絡(luò)化協(xié)同作戰(zhàn)、快速打擊、察打一體、無(wú)人作戰(zhàn)等需求方向拓展。目前，國(guó)外先進(jìn)機(jī)載光電載荷的穩(wěn)定精度已達(dá)到亞像素級(jí)，其主要的研制公司有雷神公司、洛克希德·馬丁公司、FLIR 系統(tǒng)公司等，與發(fā)達(dá)國(guó)家相比，國(guó)內(nèi)無(wú)人機(jī)載光電載荷的發(fā)展還存在一定差距。一些主要的光電載荷系統(tǒng)及功能如表1所示。

表1 一些主要的光電載荷系統(tǒng)及功能Table 1 Some major optoelectronic load systems and functions

機(jī)載光電載荷平臺(tái)具有系統(tǒng)集成度高、數(shù)字化程度高、可裝載光電傳感器多、探測(cè)精度高、探測(cè)范圍廣、應(yīng)對(duì)各種復(fù)雜惡劣環(huán)境條件和地形條件的能力、目標(biāo)檢測(cè)跟蹤與圖像處理能力、自主目標(biāo)引導(dǎo)與定位能力等特點(diǎn)。但是機(jī)載光電載荷平臺(tái)在獲取目標(biāo)圖像時(shí)，受光電平臺(tái)本身設(shè)計(jì)、裝調(diào)、無(wú)人機(jī)抖動(dòng)等因素的影響，導(dǎo)致圖像中的目標(biāo)表現(xiàn)出的位置、方向、大小、外形等會(huì)有所失真，即導(dǎo)致圖片出現(xiàn)幾何畸變、模糊退化、亮度和色彩誤差[6]等問(wèn)題，并且機(jī)載光電平臺(tái)在實(shí)際工作過(guò)程中所遇到的環(huán)境是比較惡劣的，目標(biāo)小且背景環(huán)境復(fù)雜，對(duì)于天氣的變化引起的成像質(zhì)量也存在較大差異，這都使后續(xù)的圖像處理算法面臨一定挑戰(zhàn)。

多源傳感器圖像融合技術(shù)是針對(duì)同一場(chǎng)景，取適當(dāng)?shù)膱D像處理技術(shù)將不同時(shí)間、不同拍攝角度、不同分辨率的多源圖像融合成一幅圖像，利用不同傳感器的特點(diǎn)進(jìn)行優(yōu)勢(shì)互補(bǔ)，從而可以減少后續(xù)圖像處理任務(wù)的數(shù)據(jù)處理量的技術(shù)[7-10]。根據(jù)傳感器獲取圖像來(lái)源的不同，圖像融合技術(shù)可以分成醫(yī)學(xué)圖像融合[11]、遙感圖像融合[12]、紅外與可見(jiàn)光圖像融合[13]等。其中，紅外與可見(jiàn)光融合廣泛用于目標(biāo)檢測(cè)[14]、自動(dòng)駕駛[15]等領(lǐng)域，因其在紅外測(cè)溫、軍事戰(zhàn)爭(zhēng)[16]中起到的突出作用，在圖像融合技術(shù)中占有重要地位。

搭載紅外與可見(jiàn)光傳感器的機(jī)載光電平臺(tái)可晝夜工作，且紅外與可見(jiàn)光傳感器獲取的圖像含有大量互補(bǔ)信息，可以實(shí)現(xiàn)多數(shù)據(jù)、多種功能融合的目標(biāo)，將其裝備到衛(wèi)星或無(wú)人機(jī)上可大大降低成本并且獲得更加準(zhǔn)確、全面的信息。融合圖像具有更好的特征有利于后續(xù)的檢測(cè)跟蹤，尤其是在類似于戰(zhàn)場(chǎng)特殊情況下偵察和瞄準(zhǔn)有助于后續(xù)指揮決策。同時(shí)，在光電載荷背景下對(duì)圖像處理的實(shí)時(shí)性有較高要求，但是由于負(fù)載能力的限制，平臺(tái)內(nèi)部空間有限，導(dǎo)致計(jì)算能力不足。如何在機(jī)載平臺(tái)狹小的空間中安裝能滿足實(shí)時(shí)性的圖像融合系統(tǒng)將是一個(gè)技術(shù)的難點(diǎn)[6]，引起了國(guó)內(nèi)外眾多學(xué)者的廣泛關(guān)注[17-18]。另外，紅外與可見(jiàn)光相機(jī)的拍攝環(huán)境惡劣，拍攝到的圖像模糊并且信噪比較低，因此航空?qǐng)D像融合相比傳統(tǒng)的紅外與可見(jiàn)光圖像融合的難度更高，需要提出一個(gè)適合光電載荷背景下的算法。在光電載荷背景下為了獲得融合效果更好的圖像，即能夠獲得既具有紅外熱輻射目標(biāo)信息又具有可見(jiàn)光圖像細(xì)節(jié)信息的融合圖像，有必要針對(duì)機(jī)載圖像融合進(jìn)行深入的研究。所以在光電載荷背景下圖像融合要考慮出現(xiàn)目標(biāo)弱小、細(xì)節(jié)模糊和實(shí)時(shí)性的問(wèn)題的情況。

如圖1 所示為紅外與可見(jiàn)光圖像融合的技術(shù)流程。紅外圖像與可見(jiàn)光圖像融合的算法有很多。傳統(tǒng)圖像融合算法包括基于多尺度變換的[19]、基于空域的[20]以及基于稀疏表示的[21]。依據(jù)圖像處理方式的不同和圖像信息的抽象化程度，又可將圖像融合算法分為以下三個(gè)層次：像素級(jí)圖像融合[22]、特征級(jí)圖像融合[23]和決策級(jí)圖像融合[24]，其結(jié)構(gòu)如圖2 所示。目前多數(shù)的融合算法都是針對(duì)像素級(jí)融合方法進(jìn)行研究，特征級(jí)融合與決策級(jí)融合大部分都是基于像素級(jí)融合進(jìn)行的改進(jìn)。像素級(jí)圖像融合方法可分為以下三種：基于空間域的融合、基于變換域的融合以及基于混合模型的融合。傳統(tǒng)的紅外與可見(jiàn)光圖像融合的步驟如圖3所示。

圖1 紅外與可見(jiàn)光圖像融合技術(shù)流程Fig.1 Process of infrared and visible image fusion technology

圖2 圖像融合層級(jí)劃分Fig.2 Hierarchical division of image fusion

圖3 傳統(tǒng)紅外與可見(jiàn)光圖像融合框架Fig.3 Traditional infrared and visible image fusion frame

紅外與可見(jiàn)光圖像融合中常用的數(shù)據(jù)集如表2 所示，其中軍事場(chǎng)景中常用的是TNO數(shù)據(jù)集等，查閱多種資料可知在無(wú)人機(jī)上光電吊艙所拍攝的雙光高空數(shù)據(jù)集暫時(shí)沒(méi)有公開。拍攝航空雙光數(shù)據(jù)集的方法主要有地面對(duì)空拍攝和小型無(wú)人機(jī)搭載雙光相機(jī)拍攝等方法。地面拍攝數(shù)據(jù)集方法主要方法效果對(duì)比如表3所示。

表2 紅外與可見(jiàn)光圖像融合常用數(shù)據(jù)集Table 2 Common data sets for infrared and visible image fusion

表3 構(gòu)建數(shù)據(jù)集方法Table 3 Building dataset method

在地面搭建抖動(dòng)平臺(tái)模擬高速運(yùn)轉(zhuǎn)無(wú)人機(jī)抖動(dòng)的問(wèn)題，利用小型無(wú)人機(jī)模擬戰(zhàn)場(chǎng)飛機(jī)，該方法優(yōu)點(diǎn)為易于實(shí)現(xiàn)，缺點(diǎn)為地面對(duì)空?qǐng)鼍跋履繕?biāo)背景干凈，無(wú)法模擬真實(shí)戰(zhàn)場(chǎng)環(huán)境下的復(fù)雜背景，如巷戰(zhàn)中的建筑背景；小型無(wú)人機(jī)搭載雙光相機(jī)拍攝無(wú)人機(jī)的方法優(yōu)點(diǎn)為能夠盡量還原戰(zhàn)場(chǎng)環(huán)境下空對(duì)空、空對(duì)地反無(wú)人機(jī)情況，缺點(diǎn)就是實(shí)施困難、價(jià)格昂貴，小型無(wú)人機(jī)無(wú)法搭載成像質(zhì)量好、重量較重的紅外與可見(jiàn)光相機(jī)。

下面對(duì)光電載荷應(yīng)用背景下紅外與可見(jiàn)光圖像融合將會(huì)遇到的目標(biāo)弱小[31]、細(xì)節(jié)模糊[32]、實(shí)時(shí)性[33]的問(wèn)題進(jìn)行整理和綜述。

正聊得興起，高潮突然想起下班時(shí)在地鐵站口拿到的上訪材料，猛拍一下腦門，暗罵自己一句傻逼，就急急忙忙給“詩(shī)的妾”道別：老婆，我還有工作要做，可能要鏖戰(zhàn)到雞叫頭遍，告辭了。

2 光電載荷下的紅外與可見(jiàn)光圖像融合

2012年，Liu等人[34]提出了一種基于Dempster-Shafer（D-S）證據(jù)理論的混合粒子濾波多目標(biāo)聯(lián)合檢測(cè)與跟蹤。但是基于D-S 證據(jù)理論的復(fù)雜環(huán)境下多目標(biāo)檢測(cè)方法存在如何建立合理有效的異構(gòu)信息分布函數(shù)融合方法的難點(diǎn)。2015 年，F(xiàn)an 等人[35]提出了一種基于紅外與可見(jiàn)光圖像融合的目標(biāo)檢測(cè)算法解決了文獻(xiàn)[34]中的問(wèn)題。但是該算法主要起到監(jiān)視的作用，并沒(méi)有對(duì)目標(biāo)的檢測(cè)效果量化。2019年，趙燁[36]在針對(duì)小目標(biāo)的檢測(cè)中運(yùn)用傳統(tǒng)的形態(tài)學(xué)檢測(cè)算法，并利用DS 證據(jù)理論框架，對(duì)不同特征信息賦予目標(biāo)的可信度，再基于該框架提出了紅外與可見(jiàn)光的二次融合識(shí)別方式，其融合后的可信度大大增加，不確定性迅速下降，且小目標(biāo)檢測(cè)的精度比單一傳感器的高，證明了紅外與可見(jiàn)光融合能夠增加檢測(cè)的精度，具有研究?jī)r(jià)值。

2.1 弱小目標(biāo)圖像融合

在復(fù)雜環(huán)境中的多目標(biāo)檢測(cè)已成為研究熱點(diǎn)[37]?？梢?jiàn)光相機(jī)具有高分辨率，可以提供場(chǎng)景的空間細(xì)節(jié)。但在低能見(jiàn)度等復(fù)雜環(huán)境下可見(jiàn)光圖像不清晰。熱紅外相機(jī)是一種被動(dòng)源傳感器，它捕捉所有溫度超過(guò)絕對(duì)零度的物體發(fā)出的紅外輻射。這些類型的傳感器通常部署在視覺(jué)系統(tǒng)中，以消除正常灰度和RGB 相機(jī)的照明問(wèn)題[38]。光電載荷的背景下，后續(xù)檢測(cè)跟蹤的目標(biāo)具有弱小的特點(diǎn)，即對(duì)比度低、目標(biāo)像素少。對(duì)于紅外傳感器遠(yuǎn)距離小目標(biāo)的檢測(cè)，尤其是當(dāng)目標(biāo)的溫度低于周圍環(huán)境的溫度的時(shí)候檢測(cè)的概率往往很低[39]。針對(duì)這一特性，在目標(biāo)檢測(cè)時(shí)需要可見(jiàn)光圖像來(lái)提供細(xì)節(jié)信息，紅外圖像來(lái)提供目標(biāo)高亮信息。兩種圖像融合來(lái)提高小目標(biāo)檢測(cè)的精度。

在像素級(jí)圖像融合中，針對(duì)弱小目標(biāo)圖像融合的文章大都基于變換域和混合模型的算法。基于變換域方法的基本思想是首先利用變換工具將源圖像分解為一系列的變換系數(shù)，然后通過(guò)預(yù)先設(shè)計(jì)的融合規(guī)則來(lái)組合變換系數(shù)，最后通過(guò)反轉(zhuǎn)融合的變換系數(shù)得到融合的圖像?；谧儞Q域的方法還可以細(xì)分為金字塔變換[40]、多尺度變換[41]、稀疏表示[42]等。由于小目標(biāo)無(wú)法提取有用的特征，因此很難使用基于深度學(xué)習(xí)的算法。Jin等人[43]提出的基于對(duì)比度金字塔方向?yàn)V波器組的紅外與可見(jiàn)光圖像融合采用克隆選擇優(yōu)化算法；Chandana等人[44]提出的一種基于雙樹復(fù)小波變換的拉普拉斯金字塔分解的圖像融合技術(shù)，這些基于梯度、拉普拉斯、形態(tài)差異、比值、對(duì)比度、filter-subtract-decimate金字塔的方法都是基于變換域圖像融合的著名方法，但這些簡(jiǎn)單的方法可能會(huì)在圖像紋理邊緣附近產(chǎn)生光暈效應(yīng)。表4 所示為當(dāng)前解決弱小目標(biāo)問(wèn)題的基于像素級(jí)算法對(duì)比總結(jié)。曾祥通等人[45]提出的顏色對(duì)比度增強(qiáng)的紅外與可見(jiàn)光圖像融合方法。與金字塔相比，小波提供了很好的時(shí)頻表示，因此離散小波變換（discrete wavelet transform，DWT）[46]被運(yùn)用在圖像融合中。由于DWT 是移位變體，它可能會(huì)在融合的圖像中引入偽影。大多數(shù)的多尺度融合方法需要兩個(gè)以上的分解水平才能獲得令人滿意的結(jié)果，但是這些濾波器的實(shí)現(xiàn)過(guò)程復(fù)雜且耗時(shí)。Bavirisetti等人[47]提出了一種基于雙尺度圖像分解和顯著性檢測(cè)的圖像融合算法和Naidu等人[48]應(yīng)用組合策略在可見(jiàn)和紅外圖像目標(biāo)提取的過(guò)程中有效地解決了上述問(wèn)題，但是可見(jiàn)光和紅外圖像的信息并沒(méi)有得到充分的利用。2021 年Sun 等人[49]提出了一種基于紅外與可見(jiàn)圖像融合對(duì)低空低速小目標(biāo)的遠(yuǎn)程探測(cè)算法，該算法融合圖像的細(xì)節(jié)和目標(biāo)都有增強(qiáng)，在單傳感器視覺(jué)效果較差時(shí)仍有較好的檢測(cè)精度，但是存在噪聲放大的問(wèn)題。2023年Li 等人[50]提出了一種基于稀疏先驗(yàn)聯(lián)合顯著性檢測(cè)和潛在低秩表示的四階微分方程的紅外可見(jiàn)圖像融合方法，該顯著性算法具有較高的檢測(cè)精度和良好的背景抑制能力，其信息熵和信噪比都有顯著增加?？偟膩?lái)說(shuō)，在弱小目標(biāo)的情況下最大的難點(diǎn)就是融合過(guò)程中目標(biāo)被背景淹沒(méi)。所以基于變換域的方法對(duì)弱小目標(biāo)的增強(qiáng)和背景的抑制有良好的效果，但是也會(huì)存在信息丟失過(guò)多的問(wèn)題，如背景過(guò)抑制丟失目標(biāo)。

表4 像素級(jí)弱小目標(biāo)圖像融合算法對(duì)比Table 4 Comparison of pixel-level dim target image fusion algorithms

基于空間域的方法直接提取源圖像的顯著區(qū)域或清晰塊，生成最終融合圖像。但是現(xiàn)在用傳統(tǒng)的紅外與可見(jiàn)光圖像融合的方法大多是基于混合模型的方法，即結(jié)合變換域和空間域的方法?；诨旌夏Ｐ偷姆椒ńY(jié)合了上述方法的優(yōu)點(diǎn)，提高了紅外和可見(jiàn)光圖像融合的性能。為了克服多尺度分解對(duì)源圖像分解精度不夠的問(wèn)題，Wei 等人[51]提出了一種非下采樣輪廓波變換的精確分解方法。Ren等人[52]提出了改進(jìn)了制導(dǎo)濾波器以便于更好地分解圖像，限制了圖像邊界附近的偽影。Zhang 等人[53]提出了一種局部邊緣保持濾波器，將源圖像分解為底層和細(xì)節(jié)，并使用改進(jìn)的顯著性檢測(cè)方法來(lái)檢測(cè)紅外圖像的顯著目標(biāo)區(qū)域。Yu 等人[54]提出了一種結(jié)合多尺度變換和稀疏表示的通用圖像融合框架，克服融合的局限性。Ma等人[55]提出了一種結(jié)合視覺(jué)顯著性映射和加權(quán)最小二乘優(yōu)化的融合方法能夠克服傳統(tǒng)方法的一些局限性。當(dāng)可見(jiàn)光圖像受到煙霧和強(qiáng)光等干擾時(shí)，上述融合算法的圖像融合質(zhì)量會(huì)受到干擾。所以，Lin 等人[56]提出了一種基于滾動(dòng)制導(dǎo)濾波器和顯著性檢測(cè)的自適應(yīng)紅外和可見(jiàn)光圖像融合方法，但是存在一定的噪聲和偽影。2023 年Liu 等人[57]提出了一種海洋環(huán)境下艦載光電吊艙的紅外與可見(jiàn)圖像融合，從主觀來(lái)看該算法在去偽影和顯示目標(biāo)特性有較好的效果，客觀來(lái)看其信噪比、平均梯度、空間頻率等都優(yōu)于其他算法。

基于混合模型的算法在弱小目標(biāo)問(wèn)題時(shí)會(huì)綜合空間域、變換域和其他模型的優(yōu)缺點(diǎn)，能夠綜合空間域中空間簇互相鄰接的問(wèn)題和變換域目標(biāo)丟失的問(wèn)題。因?yàn)槿跄繕?biāo)亮度信息很低，小目標(biāo)邊緣特征較弱，弱小目標(biāo)邊緣信息和亮度信息都很差，所以在目標(biāo)弱小的情況下很少使用基于特征的圖像融合算法。決策級(jí)圖像融合結(jié)合目標(biāo)檢測(cè)算法能夠提高弱小目標(biāo)檢測(cè)的精度，并且可以根據(jù)不同的場(chǎng)合選擇合適的檢測(cè)器。決策級(jí)紅外與可見(jiàn)光融合的算法較新，表5所示為總結(jié)的決策級(jí)融合的部分算法。國(guó)內(nèi)已知最早實(shí)際應(yīng)用到?jīng)Q策級(jí)融合的是2011年肖旭光等人[58]提出的利用Hu不變目標(biāo)尺寸特征進(jìn)行融合，但該方法的確匹配率較低。2020年白玉等人[59]提出了對(duì)通過(guò)檢測(cè)結(jié)果加權(quán)融合的決策方法。該方法使檢測(cè)精度達(dá)到了84.7%，與單一傳感器相比檢測(cè)精度分別提高了2.44%和21.98%。2022 年朱鎧鎧[60]提出的多源數(shù)據(jù)層融合方法在提高效率的同時(shí)能夠提高目標(biāo)檢測(cè)的精度。劉蓮[61]提出的利用多層卷積特征融合的決策級(jí)融合算法的檢測(cè)精度提高了3.38%，成功率提高了10.07%。2023 年寧大海等人[62]改進(jìn)了唐聰?shù)热薣63]的算法使得白天的漏檢率降低了8.16%，夜晚的漏檢率降低了9.85%，但是該方法增加了計(jì)算時(shí)間復(fù)雜度。Hu等人[64]提出的基于光傳感器的決策級(jí)融合策略，提高了在低光照下紅外與可見(jiàn)光融合后的目標(biāo)檢測(cè)精度，并獲得了69.0%的最優(yōu)AP值。

表5 決策級(jí)圖像融合算法對(duì)比Table 5 Comparison of decision level image fusion algorithms

在戰(zhàn)場(chǎng)狀態(tài)下機(jī)載光電吊艙往往跟蹤的是弱小目標(biāo)，紅外與可見(jiàn)光圖像融合能夠突出待檢測(cè)跟蹤的目標(biāo)。此時(shí)處理雙光圖像主要有像素級(jí)處理方法和決策級(jí)處理方法。弱小目標(biāo)邊緣和亮度信息很弱所以不直接采用基于特征的方法。在用像素級(jí)方法處理時(shí)，基于變換域的方法對(duì)弱小目標(biāo)的增強(qiáng)和背景的抑制有良好的效果，但存在光暈和信息丟失過(guò)多的問(wèn)題?；诨旌夏Ｐ偷姆椒軌蚪鉀Q單一模型的一些局限，但存在可適應(yīng)性的問(wèn)題?？偟膩?lái)說(shuō)基于像素的方法可以保持源圖像更多的原始數(shù)據(jù)，目標(biāo)空間位置相對(duì)更精確；但在預(yù)處理部分對(duì)弱小目標(biāo)來(lái)說(shuō)配準(zhǔn)難度大。決策級(jí)方法可適應(yīng)性強(qiáng)，后續(xù)目標(biāo)檢測(cè)精度高，但是會(huì)丟失大量信息。但是現(xiàn)有的這些針對(duì)弱小目標(biāo)融合增強(qiáng)的算法都是在較為理想的環(huán)境下實(shí)現(xiàn)的，沒(méi)有在復(fù)雜環(huán)境下進(jìn)行現(xiàn)實(shí)的驗(yàn)證，因此在復(fù)雜環(huán)境下的可適應(yīng)性是現(xiàn)在算法改進(jìn)的切入點(diǎn)。

2.2 紋理細(xì)節(jié)模糊

紋理細(xì)節(jié)的問(wèn)題通?？紤]像素級(jí)圖像融合方法。在光電載荷的背景下所拍攝的圖像目標(biāo)背景通常是較為復(fù)雜的，紅外圖像缺乏紋理信息而可見(jiàn)光圖像具有紋理信息可以用來(lái)彌補(bǔ)紅外相機(jī)的不足，所以提出了紅外與可見(jiàn)光圖像融合的技術(shù)來(lái)增加復(fù)雜環(huán)境下的有效信息。但是在融合的過(guò)程中會(huì)出現(xiàn)邊緣模糊的問(wèn)題，所以近年來(lái)一些學(xué)者提出了一系列改進(jìn)算法。紋理細(xì)節(jié)模糊的算法優(yōu)缺點(diǎn)總結(jié)如表6所示。

表6 解決紋理細(xì)節(jié)模糊的算法Table 6 Algorithm to solve texture detail blurring

基于空間域的算法中Rudin 等人[65]在1992 年首次提出了全變分（total variation，TV）的概念，并通過(guò)最小化全變分將其應(yīng)用于圖像去噪。Rudin 的TV 模型出現(xiàn)在有界的變分空間中，可以得到不連續(xù)的解，從而在保持邊界特性的同時(shí)有效地去除噪聲。但是，當(dāng)使用該模型時(shí)，會(huì)出現(xiàn)階躍效應(yīng)，在原始圖像的一些相對(duì)平坦的區(qū)域可能會(huì)出現(xiàn)假邊。四階去噪模型成功地避免了階躍效應(yīng)。Ma等人[66]將TV模型引入紅外-可見(jiàn)光圖像融合領(lǐng)域，但該模型沒(méi)有考慮可見(jiàn)光圖像的強(qiáng)度特征，存在細(xì)節(jié)丟失和場(chǎng)景感知差的缺點(diǎn)。Guo 等人[67]通過(guò)在模型的保真度項(xiàng)中加入對(duì)可見(jiàn)圖像強(qiáng)度的約束，減少了融合圖像的光暈。Nie等人[68]使用加權(quán)保真度項(xiàng)來(lái)增加可見(jiàn)光圖像的場(chǎng)景信息，并在正則化項(xiàng)中增加約束，以防止亮度退化?？紤]了多分辨率圖像中的噪聲放大和信息丟失問(wèn)題，Du 等人[69]提出了利用全變分模型融合不同分辨率的紅外和可見(jiàn)光圖像。上述算法由于忽視了多源圖像和不加區(qū)別地提取不同特征將會(huì)損失融合圖像的質(zhì)量。所以Zhao等人[70]利用結(jié)構(gòu)轉(zhuǎn)移和局部顯著性檢測(cè)構(gòu)建了一個(gè)TV 模型，融合后的圖像保留了更多關(guān)于目標(biāo)的位置和邊界信息。隨著算法的不斷改進(jìn)，對(duì)于TV 算法的模型越來(lái)越復(fù)雜，時(shí)間復(fù)雜度也越來(lái)越高，并且紅外和可見(jiàn)光圖像保真度項(xiàng)的權(quán)重確定通常依賴于實(shí)驗(yàn)經(jīng)驗(yàn)，需要對(duì)不同的場(chǎng)景進(jìn)行手動(dòng)調(diào)整，所以Zhang等人[71]提出了聯(lián)合主成分分析的全變分紅外與可見(jiàn)光圖像融合，該算法對(duì)于不同場(chǎng)景具有適應(yīng)性。多尺度分解（multi-scale decomposition，MSD）方法已經(jīng)成為圖像融合最活躍的領(lǐng)域之一，該方法的分解機(jī)制類似于人類視覺(jué)系統(tǒng)，為圖像的幾何抽象和表征提供了一個(gè)高水平的變換域[72]。其中，非下采樣信號(hào)變換克服了以往MSD方法的缺點(diǎn)，實(shí)現(xiàn)了位移不變性和快速分解[73]。統(tǒng)計(jì)模型也被應(yīng)用到基于MSD 的方法中來(lái)設(shè)計(jì)融合規(guī)則[74]，而如何制定一個(gè)合理的聯(lián)合分布模型仍然是一個(gè)很大的障礙。傳統(tǒng)的上下文隱藏馬爾可夫模型，傾向于使用雙態(tài)高斯混合模型來(lái)模擬MSD 系數(shù)的分布，即每個(gè)系數(shù)都被簡(jiǎn)單地劃分為紋理信息豐富的位置和平滑區(qū)域[75]，一些精細(xì)的紋理特征也可能被錯(cuò)誤地分類為小狀態(tài)，導(dǎo)致統(tǒng)計(jì)模型不準(zhǔn)確，進(jìn)一步影響融合圖像的質(zhì)量。由于系數(shù)的水平僅限于大或者小，這與信息的層次結(jié)構(gòu)相矛盾，影響了確定轉(zhuǎn)移特征的準(zhǔn)確性。為了更好地反映各系數(shù)的顯著性，Luo 等人[76]提出了一個(gè)基于非下采樣剪切波變換的多粒度聯(lián)合分布模型來(lái)處理融合過(guò)程中的不確定性，該算法的空間頻率提高了7.5%?；诟鞣NMSD 的多尺度融合方法的巨大成功，證實(shí)了尺度分離在圖像融合過(guò)程中的重要性。針對(duì)傳統(tǒng)的用于基層的“平均”融合規(guī)則并不能有效地充分利用這些低頻信息，通常會(huì)導(dǎo)致融合圖像的對(duì)比度損失，所以可以使用視覺(jué)顯著性映射[77]來(lái)合并基層。所以基于空間域算法計(jì)算簡(jiǎn)單快速，在已有的用于目標(biāo)檢測(cè)中的論文中精度高，但是也存在場(chǎng)景感知差的缺點(diǎn)；基于變換域的算法保留了足夠多的細(xì)節(jié)信息，但是時(shí)間復(fù)雜度較高。

傳統(tǒng)的紅外與可見(jiàn)光圖像融合技術(shù)需要嚴(yán)格配準(zhǔn)，2023 年，Li 等人[82]創(chuàng)新性地提出了一種無(wú)配準(zhǔn)融合，他根據(jù)兩幅源圖像之間的空間關(guān)系，聯(lián)合學(xué)習(xí)調(diào)制參數(shù)和動(dòng)態(tài)卷積核使其模態(tài)在高級(jí)特征空間中對(duì)齊。該方法應(yīng)用了三層網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練，在復(fù)雜多變的戰(zhàn)場(chǎng)環(huán)境部署困難，但也為紅外與可見(jiàn)光圖像融合提供了新的思路。Dong等人[83]提出了一種利用提出了一種讓源圖像參與到融合過(guò)程中，共同提取和融合特征的技術(shù)，該算法與現(xiàn)有的融合框架不同，無(wú)需根據(jù)不同的融合任務(wù)調(diào)整融合策略和神經(jīng)網(wǎng)絡(luò)模型。

針對(duì)紋理細(xì)節(jié)模糊這一問(wèn)題主要是基于像素級(jí)的圖像融合方法。在處理紋理細(xì)節(jié)問(wèn)題時(shí)，基于空間域的方法計(jì)算簡(jiǎn)單速度快，能夠保留足夠多的信息，但對(duì)噪聲敏感，目標(biāo)特征信息已丟失；基于變換域的方法保留了足夠的紋理信息和目標(biāo)信息但是計(jì)算時(shí)間復(fù)雜；基于混合模型的方法是現(xiàn)在主流的方法，該方法能夠綜合空間域和變換域的優(yōu)點(diǎn)，保留更多的細(xì)節(jié)信息。但大多會(huì)增加計(jì)算的時(shí)間復(fù)雜度，在增加紋理細(xì)節(jié)的同時(shí)丟失目標(biāo)。但是在考慮圖像細(xì)節(jié)的算法中并沒(méi)有考慮到目標(biāo)和計(jì)算效率的問(wèn)題，所以怎么在突出目標(biāo)且不丟失背景的情況下減少計(jì)算的時(shí)間是傳統(tǒng)紅外與可見(jiàn)光圖像融合算法改進(jìn)的方向。

2.3 實(shí)時(shí)性

光電載荷背景下紅外與可見(jiàn)光圖像的實(shí)時(shí)融合對(duì)于計(jì)算的速度要求是十分高的。如果圖像處理的速度太慢，幀率太低就會(huì)導(dǎo)致人眼所看到的畫面是卡頓且不流暢的?，F(xiàn)在無(wú)人駕駛技術(shù)的流行和發(fā)展，實(shí)時(shí)紅外與可見(jiàn)光圖像融合成為研究的熱點(diǎn)，給該方向上提出的算法和技術(shù)帶來(lái)一定的參考價(jià)值。目前的多傳感器圖像融合方法計(jì)算復(fù)雜度高，在硬件上難以實(shí)現(xiàn)，但在光電載荷背景下需要一個(gè)新的穩(wěn)定的、計(jì)算速度快的、處理效率高的算法，所以仍然有研究的意義?，F(xiàn)有的實(shí)時(shí)紅外與可見(jiàn)光圖像融合的算法也有借鑒的價(jià)值，以下就對(duì)一些滿足實(shí)時(shí)處理的融合算法做出概述。實(shí)時(shí)融合方法如表7所示。

表7 實(shí)時(shí)性融合算法Table 7 Real-time fusion algorithm

空間域圖像融合不需要對(duì)源圖像進(jìn)行分解。但是空間域方法存在有低對(duì)比度和空間退化的問(wèn)題[84]，Aydin等人[85]在FPGA 上利用基于顏色空間變換、均值和方差的高級(jí)合成（high-high synthesis，HLS）工具等技術(shù)實(shí)現(xiàn)了圖像融合方法，改善了圖像的顏色信息，但是該方法會(huì)使圖像融合后的圖像性能變差且可適應(yīng)性低，因此在考慮融合的實(shí)時(shí)性問(wèn)題時(shí)通?？紤]采用變換域的方法。Sims 等人[87]首次利用金字塔變換實(shí)現(xiàn)圖像融合的實(shí)例，四個(gè)層次的金字塔分解，有四個(gè)獨(dú)立的梯度算子，都可以在一個(gè)設(shè)備上運(yùn)行，而不需要片外存儲(chǔ)器，并且能夠在2.8 GHz Pentium-4 上提供大約100 倍的加速。Song等人[88]利用流水線的拉普拉斯融合算法，該算法較為耗時(shí)且有偽影。在實(shí)時(shí)的圖像融合中常用方法為多尺度變換法。與DWT相比，金字塔方法的信噪比較低，并且為了克服DWT 是移位變體這一問(wèn)題，采用時(shí)移不變離散小波變換（shift invariant wavelet transform，SIDWT）[86]代替DWT 來(lái)提高融合性能，但是SIDWT 的功耗也很高，這使得SIDWT 也不適用于低功耗的設(shè)備。為了克服基于DWT和SIDWT的方法的缺點(diǎn)，就采用了非下采樣輪廓波變換（non-subsampled contourlet transform，NSCT）[89]。但是為了存儲(chǔ)所有的波段，NSCT在圖像融合的初始步驟中至少需要72個(gè)內(nèi)存塊[90]，其中幾乎一半用于存儲(chǔ)融合的信息進(jìn)行重建。此外，在基于硬件的解決方案中，保持NSCT中使用的濾波器組的精度也很困難，并且在復(fù)雜的空間結(jié)構(gòu)中不能保持源圖像的邊緣，所以在實(shí)時(shí)圖像融合時(shí)不考慮NSCT。此外，主成分分析、熵檢測(cè)和改進(jìn)的拉普拉斯算子之和具有有限的圖像特征，不適用于紅外和可見(jiàn)圖像融合，并且上述算法計(jì)算量大、耗能大[91]。

基于上述的問(wèn)題，Mishra等人[92]提出了實(shí)時(shí)應(yīng)用中基于改進(jìn)的Frei-Chen算子的紅外與可見(jiàn)光傳感器圖像融合。與現(xiàn)有的融合算法相比，該方法在總邊緣轉(zhuǎn)移、結(jié)構(gòu)相似性和夜視對(duì)比度方面分別提高了48%、15%和100%，在Xilinx 開發(fā)工具上可以以每秒90 幀的速度處理高清分辨率（1 920×1 080）的圖像。但是該算法可能會(huì)出現(xiàn)閃爍的偽影。Jeong等人[93]提出了一種基于多導(dǎo)濾波器的實(shí)時(shí)可見(jiàn)紅外圖像融合，該算法處理320×270的圖像時(shí)幀率為58 FPS，雖然犧牲了時(shí)間，卻大大減少了視頻圖像中閃爍的偽影并且不會(huì)出現(xiàn)卡頓的現(xiàn)象，但是該算法對(duì)于紋理卻當(dāng)作了噪聲處理。由于兩個(gè)視頻信號(hào)由兩個(gè)不同的源產(chǎn)生，因此兩個(gè)視頻信號(hào)在相應(yīng)的視頻幀開始之間有不可避免的啟動(dòng)延遲，因此沒(méi)有特殊的硬件同步機(jī)制，不能在同一時(shí)間啟動(dòng)，并且該延遲不是隨時(shí)間恒定的；其次由于視頻源中內(nèi)部電氣或機(jī)械硬件的限制，每個(gè)視頻源都有一個(gè)小的幀率偏差。當(dāng)輸入的視頻被解碼成數(shù)字格式的信號(hào)時(shí)，為了準(zhǔn)備處理，上述問(wèn)題被繼承到數(shù)字視頻信號(hào)中，視頻融合需要在可見(jiàn)光和紅外視頻中處于相同空間位置的像素被同時(shí)訪問(wèn)和處理。Awad等人[94]提出了一種集成的現(xiàn)場(chǎng)可編程邏輯門陣列（field programmable gate Array，F(xiàn)PGA）架構(gòu)和實(shí)現(xiàn)的視頻處理系統(tǒng)解決了上述的問(wèn)題，該實(shí)現(xiàn)消耗的FPGA 資源很少，因此更適合相機(jī)硬件集成，處理720×480大小的圖片幀率可以達(dá)到30 FPS。

上述的實(shí)時(shí)紅外與可見(jiàn)光圖像融合沒(méi)有考慮到小目標(biāo)融合的效果以及沒(méi)有為進(jìn)一步圖像處理創(chuàng)造條件。2022 年，Zhang 等人[95]提出了一種嵌入式實(shí)時(shí)紅外和可見(jiàn)圖像融合算法來(lái)檢測(cè)無(wú)人機(jī)，目標(biāo)檢測(cè)的檢出率高達(dá)0.926，在ZedBoard上的幀率可以達(dá)到205.3 FPS，在TX1上的幀率為36.6 FPS，在ARM上的幀率為5.4 FPS。為解決炫光、煙霧等因素影響，2021年，Li等人[96]提出了一種基于引導(dǎo)濾波和顯著性檢測(cè)的紅外可見(jiàn)圖像融合的實(shí)時(shí)FPGA 實(shí)現(xiàn)，并將高級(jí)語(yǔ)言轉(zhuǎn)換成硬件語(yǔ)言，通過(guò)硬件實(shí)現(xiàn)的圖像融合速度是PC 圖像融合速度的63倍，幀率可達(dá)55.6 FPS，文獻(xiàn)[96]在去除光暈方面相比于其他算法有較好的效果。考慮實(shí)時(shí)性問(wèn)題還可以從硬件角度出發(fā)，2022 年，黃西瑩等人[97]提出了在FPGA 上對(duì)融合算法并行實(shí)現(xiàn)來(lái)對(duì)運(yùn)行時(shí)間進(jìn)行優(yōu)化。

所以，基于空間域的算法雖然不會(huì)對(duì)源圖像進(jìn)行分解減少了計(jì)算的難度，但是會(huì)導(dǎo)致空間退化等問(wèn)題；基于變換域的算法在像素級(jí)方法中處理效果較好，但會(huì)存在功耗過(guò)大的問(wèn)題；基于混合模型的算法能夠折中變換域和空間域的優(yōu)缺點(diǎn)但是計(jì)算復(fù)雜；通過(guò)并行處理加速能夠優(yōu)化時(shí)間。由于機(jī)載設(shè)備有重量的要求，所以在機(jī)載光電吊艙上的計(jì)算能力是有限制的。在有限的計(jì)算能力之內(nèi)要達(dá)到效率的最大化是現(xiàn)在需要解決的難題。傳統(tǒng)的圖像融合處理方法比深度學(xué)習(xí)的方法所用到的資源更少。總的來(lái)說(shuō)，兼顧融合效果和計(jì)算能力不能用復(fù)雜的算法來(lái)解決，在單一模型中計(jì)算效率和融合效果往往是對(duì)立的，基于混合模型能夠折中這兩個(gè)問(wèn)題。雖然現(xiàn)有的實(shí)時(shí)處理算法在仿真圖像模型上都有著良好的效果，但目前還沒(méi)有已發(fā)表的文獻(xiàn)涉及實(shí)際復(fù)雜自然環(huán)境中的試驗(yàn)數(shù)據(jù)，且實(shí)時(shí)的圖像融合研究相對(duì)較少。

3 總結(jié)與展望

紅外與可見(jiàn)光圖像的增強(qiáng)、配準(zhǔn)融合是為了后續(xù)對(duì)目標(biāo)跟蹤檢測(cè)做預(yù)處理，基于預(yù)處理的圖像使后面的跟蹤檢測(cè)能夠更加準(zhǔn)確。發(fā)展到目前，紅外與可見(jiàn)光的增強(qiáng)和配準(zhǔn)融合已經(jīng)覆蓋了軍事、輔助駕駛、電力、邊防等領(lǐng)域。雖然目前的增強(qiáng)、配準(zhǔn)融合算法有很多，但是在不同的應(yīng)用場(chǎng)景有不同的應(yīng)用需求。在本文中根據(jù)光電載荷目標(biāo)檢測(cè)的需求，既要滿足融合的精度又要滿足融合的實(shí)時(shí)性，所以目前還沒(méi)有一個(gè)完整全面講到增強(qiáng)、配準(zhǔn)融合的算法來(lái)應(yīng)用到光電載荷的應(yīng)用場(chǎng)景中，且還沒(méi)有一個(gè)可靠的光電載荷下拍攝的數(shù)據(jù)集，所以雙光融合的落地仍面臨著一些挑戰(zhàn)。

（1）針對(duì)紅外與可見(jiàn)光圖像融合現(xiàn)在還沒(méi)有一種全面的圖像配準(zhǔn)算法能夠適用于所有的應(yīng)用場(chǎng)合。融合前要對(duì)圖像配準(zhǔn)，相對(duì)于基于深度學(xué)習(xí)的算法，傳統(tǒng)的配準(zhǔn)計(jì)算量較小，不需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。所以針對(duì)光電載荷這一背景，需要提出更加能夠具有計(jì)算量小、配準(zhǔn)精度高、實(shí)時(shí)性好的算法。由于配準(zhǔn)的難度較大，精度較小，所以無(wú)配準(zhǔn)融合為紅外與可見(jiàn)光圖像融合提供了新的思路。對(duì)于弱小目標(biāo)也可采用決策級(jí)融合，此時(shí)對(duì)異源圖像配準(zhǔn)的要求小，當(dāng)異源圖像判斷為目標(biāo)時(shí)并且做出相關(guān)決策后進(jìn)行融合來(lái)凸顯出目標(biāo)。

（2）針對(duì)紅外與可見(jiàn)光圖像融合，雙光融合的過(guò)程中存在著噪聲放大、細(xì)節(jié)丟失、目標(biāo)淹沒(méi)等問(wèn)題，所以在光電載荷中計(jì)算能力有限的情況下，亟需提出新的針對(duì)復(fù)雜背景弱小目標(biāo)的后續(xù)檢測(cè)跟蹤改進(jìn)的紅外與可見(jiàn)光圖像融合算法。融合效果與融合時(shí)間需要進(jìn)行折中，在實(shí)際應(yīng)用中對(duì)融合速度的提升更為迫切。現(xiàn)有的傳統(tǒng)雙光融合算法對(duì)于實(shí)時(shí)性的要求還能滿足，處理圖像時(shí)幀率很低，對(duì)于人眼觀測(cè)的數(shù)據(jù)有較大的延遲，這對(duì)光電載荷上軟硬件都有較高的要求，并且現(xiàn)有的算法大多是在融合算法上的創(chuàng)新，而很少能夠進(jìn)行實(shí)時(shí)融合的測(cè)試。所以傳統(tǒng)雙光融合算法仍然有較高的研究?jī)r(jià)值。

（3）機(jī)載光電載荷下實(shí)景拍攝的數(shù)據(jù)集缺乏。針對(duì)機(jī)載光電平臺(tái)的圖像處理技術(shù)沒(méi)有實(shí)景的測(cè)試，所以需在機(jī)載光電載荷平臺(tái)上拍攝圖像數(shù)據(jù)對(duì)來(lái)構(gòu)建光電載荷下的紅外與可見(jiàn)光圖像數(shù)據(jù)集。