應(yīng)用整體結(jié)構(gòu)信息分層匹配的紅外與可見光遙感圖像融合方法

常新亞 丁一帆 郭夢瑤

(1 航天東方紅衛(wèi)星有限公司，北京 100094)(2 北京市遙感信息研究所，北京 100192)(3 北京化工大學(xué)，北京 100029)

紅外成像能晝夜工作，適應(yīng)不良天氣，是對地觀測衛(wèi)星的主要探測手段之一。但是，與可見光成像相比，紅外成像的空間分辨率依然較低；另一方面，弱小目標探測等實際應(yīng)用亟需高分辨率的紅外遙感圖像。在此情形下，許多航天器，如我國的天宮一號(TG-1)目標飛行器、遙感14號和遙感28號衛(wèi)星，同時搭載了紅外、可見光等多種成像載荷，通過對紅外載荷的成像數(shù)據(jù)進行圖像融合或圖像超分辨等處理，提高紅外圖像的空間分辨率。其中，圖像融合是指綜合多源圖像的信息，獲得對同一場景或目標更為準確、全面和可靠的圖像，使之更加適合人的觀察和分析、機器的處理[1]。遙感圖像融合技術(shù)是遙感圖像預(yù)處理的關(guān)鍵技術(shù)，也一直是數(shù)據(jù)融合領(lǐng)域的研究熱點[2]。

目前，光學(xué)遙感圖像融合研究主要針對可見光與多光譜圖像、可見光與高光譜圖像，可分為加性變換和比值變換兩大類型[2]。其中，比值變換融合方法[3-4]主要采用與可見光成像譜段重疊的多光譜、高光譜譜段合成低分辨率可見光遙感圖像；然后利用可見光圖像與低分辨率可見光遙感圖像的比值圖像表征融合圖像的空間細節(jié)；最后按像素點計算比值圖像與多光譜、高光譜上采樣圖像的乘積生成融合圖像。由于紅外與可見光成像的光譜譜段截然不同，二者不存在重疊的成像光譜波段，因此比值變換方法不適用于紅外與可見光遙感圖像融合。加性變換融合方法可細分為頻率域變換(FT)、分量替換(CS)兩個子類。其中，頻率域變換融合方法[5-6]首先分別對可見光與多光譜、高光譜圖像進行頻率分解，然后對可見光圖像的高頻分量及多光譜圖像的低頻分量進行逆變換生成融合圖像。分量替換融合方法[7-8]首先對多光譜、高光譜圖像進行矩陣變換，得到保留分量和替換分量，然后對可見光圖像與保留分量進行矩陣逆變換生成融合圖像。

紅外與可見光成像的光譜譜段差異大，二者的光譜波段不重疊，因此，近年來加性變換方法被用于紅外與可見光遙感圖像融合。該方法利用頻率域變換從可見光圖像中提取反映地物空間細節(jié)的高頻信息，側(cè)重于將地物的空間細節(jié)有效注入紅外遙感圖像，往往由于空間細節(jié)的不當注入導(dǎo)致融合圖像中部分地物模糊不清[9-11]。此外，現(xiàn)有方法未考慮待融合圖像間的分辨率差異，而航天器紅外與可見光成像分辨率往往相差很大，例如天宮一號采集的可見光與紅外圖像分辨率相差10倍，現(xiàn)有方法生成的融合圖像細節(jié)模糊不清。

本文面向航天器紅外與可見光成像的圖像融合需求，提出應(yīng)用整體結(jié)構(gòu)信息分層匹配的圖像融合方法，實現(xiàn)紅外與可見光遙感圖像的高保真融合。與現(xiàn)有方法將地物的空間細節(jié)有效注入紅外遙感圖像的融合思路不同，本文采用將紅外圖像整體結(jié)構(gòu)信息替換可見光圖像整體結(jié)構(gòu)信息的新融合思路，可有效避免空間細節(jié)注入不當導(dǎo)致融合圖像模糊不清的問題。

1 紅外與可見光圖像融合方法

假設(shè)紅外圖像I的地表采樣間距是可見光圖像P的N倍(N≥4)，分別以N/2k倍(k=1，…，|lbN|-1)比率對可見光圖像P進行均值下采樣，生成的均值下采樣圖像記為Pk。由于紅外與可見光圖像分辨率差異大，本文采用分層擬合思路，將整體結(jié)構(gòu)信息采取分層匹配的圖像融合方法。首先，將紅外圖像與可見光圖像P1融合生成F1；然后，將融合圖像F1與可見光圖像P2融合生成F2；以此類推，最后將融合圖像F|lbN|-1與可見光圖像P融合生成F。其實現(xiàn)過程見圖1。

圖1 圖像融合方法實現(xiàn)過程

1.1 整體結(jié)構(gòu)信息提取

人眼視網(wǎng)膜含有錐狀體和桿狀體兩類感光細胞，其中，錐狀體獲取的信息可以使人充分的分辨物體的空間細節(jié)，桿狀體獲取的信息可以使人充分地分辨物體的整體結(jié)構(gòu)。借鑒人眼信息處理的機制，本文將圖像數(shù)據(jù)分為整體結(jié)構(gòu)信息和空間細節(jié)信息：整體結(jié)構(gòu)信息是圖像的低頻成分，主要反映圖像數(shù)據(jù)的整體趨勢；空間細節(jié)信息的變化波動較劇烈，主要描述圖像紋理和細節(jié)。圖2展示了原始圖像、整體結(jié)構(gòu)和空間細節(jié)信息的特點，其中，整體結(jié)構(gòu)信息的走勢較平滑，空間細節(jié)信息則圍繞著數(shù)值0上下劇烈波動。

圖2 圖像整體結(jié)構(gòu)與空間細節(jié)信息示例Fig.2 An illustration of image overall structural information and spatial detail information

紅外圖像的分辨率較低，可見光和紅外圖像融合的目標是利用可見光圖像的空間細節(jié)銳化紅外圖像，因此兩者融合也被稱為可見光銳化(Panshar-pening)[2]。可見光和紅外圖像融合只能從可見光圖像中抽取空間細節(jié)信息來銳化紅外圖像，若引入可見光圖像的整體結(jié)構(gòu)信息則會改變紅外圖像中目標的溫度特性，引起溫度失真。此外，融入至紅外圖像的空間細節(jié)信息須與可見光圖像保持一致，否則容易導(dǎo)致融合圖像的空間細節(jié)模糊不清。根據(jù)上述整體結(jié)構(gòu)和空間細節(jié)信息的特點，本文利用高斯濾波計算圖像的整體結(jié)構(gòu)信息，并將原始圖像減去整體結(jié)構(gòu)信息得到空間細節(jié)信息，見式(1)。

(1)

式中：U，H，D分別為原始圖像、整體結(jié)構(gòu)和空間細節(jié)信息；G為高斯濾波器；*為卷積運算符；i和j分別為圖像中像素的行號與列號。

1.2 紅外與可見光圖像融合模型

現(xiàn)有方法側(cè)重利用可見光圖像的空間細節(jié)注入紅外遙感圖像實現(xiàn)二者的有機融合，但由于紅外與可見光圖像分辨率差異大，且可見光圖像的空間細節(jié)自身復(fù)雜多變(見圖2)，容易導(dǎo)致空間細節(jié)信息注入紅外圖像不當，從而造成融合圖像中部分地物模糊不清。為了解決這個問題，本文認為理想融合圖像與可見光圖像的空間細節(jié)信息是一致的，二者的差異在于整體結(jié)構(gòu)信息不同，因此，使可見光圖像的整體結(jié)構(gòu)信息與紅外圖像一致即可實現(xiàn)可見光圖像與紅外圖像的高保真融合。

根據(jù)上述分析，本文通過消除可見光與紅外圖像的整體結(jié)構(gòu)信息差異，提出利用紅外圖像整體結(jié)構(gòu)信息匹配可見光圖像整體結(jié)構(gòu)信息的新融合思路，利用數(shù)據(jù)擬合實現(xiàn)可見光圖像整體結(jié)構(gòu)信息與紅外上采樣圖像的強度匹配。首先，將可見光圖像減去紅外上采樣圖像，得到二者的差值圖像；然后，通過高斯濾波計算差值圖像的整體結(jié)構(gòu)信息；最后，將可見光圖像減去差值圖像的整體結(jié)構(gòu)信息，生成紅外與可見光融合圖像，見式(2)。

F(i,j)P(i,j)-(P(i,j)-I′(i,j))*G(i,j)

(2)

式中：I′為紅外上采樣圖像(上采樣至與可見光圖像分辨率相同)。

考慮到航天器可見光圖像與紅外圖像的分辨率差異大，為更精準地消除可見光與紅外圖像的整體結(jié)構(gòu)信息差異，本文采用由低分辨率至高分辨率的分層匹配方案。首先，將紅外圖像上采樣至與可見光圖像P1分辨率相同，并按式(2)將之與可見光圖像P1融合生成F1；然后，將融合圖像F1上采樣至與可見光圖像P2分辨率相同，并按式(2)將之與可見光圖像P2融合生成F2，以此類推，最后將融合圖像F|lbN|-1與可見光圖像P融合生成F。

總體而言，應(yīng)用整體結(jié)構(gòu)信息分層匹配的融合方法生成的融合圖像溫度保真與細節(jié)保真效果好。此外，由式(2)可知，融合方法僅涉及圖像的卷積濾波及圖像減法計算，計算復(fù)雜度低，也適用于遙感器的在軌實現(xiàn)?？梢姽鈭D像的空間分辨率遠優(yōu)于紅外圖像，可見光相機相對紅外相機成像的原始數(shù)據(jù)率高、數(shù)據(jù)量大，另外，考慮到目前在軌處理器水平(通常為V7、K7系列FPGA及數(shù)字信號處理器(DSP)架構(gòu))和硬件單機復(fù)雜度，在采用本文方法對可見光圖像與紅外圖像進行融合之前，首先，應(yīng)對可見光圖像目標進行在軌快速篩選，提取疑似目標切片(或區(qū)域切片)，以大大減少可見光圖像輸入數(shù)據(jù)量；然后，通過衛(wèi)星在軌定位解算實現(xiàn)可見光圖像中目標切片與紅外圖像中對應(yīng)切片的快速關(guān)聯(lián)；最后，利用本文方法對可見光與紅外圖像的目標切片進行圖像融合操作，生成高分辨率融合圖像，以便后續(xù)應(yīng)用時提取目標的高分辨率空間細節(jié)和溫度特征辨識目標。隨著在軌處理器的高速發(fā)展，如高等級圖形處理器(GPU)、專用集成電路(ASIC)等技術(shù)的應(yīng)用，未來也可以考慮本文方法直接在軌使用。

2 融合方法驗證與分析

2.1 試驗數(shù)據(jù)與評價指標

為了驗證本文融合方法的有效性，使用我國天宮一號采集的紅外與可見光圖像進行融合試驗。其中，可見光圖像分辨率為1 m，紅外圖像分辨率為10 m。為了檢驗融合方法的溫度保真與紋理保真性能，本文選取空間細節(jié)豐富且不同區(qū)域溫度具有顯著差異的圖像進行試驗分析，見圖3(a)和圖3(b)。此外，本文采用文獻[12]中提出的溫度扭曲度(Ds)、細節(jié)扭曲度(Dλ)、綜合保真度(QNR)來評價融合圖像。這些評價方法已在學(xué)術(shù)界廣泛使用，可以客觀度量融合圖像的溫度與細節(jié)保真效果。其中，Ds∈[0,1]，其值越小，溫度保真效果越好；Dλ∈[0,1]，其值越小，細節(jié)保真效果越好；QNR∈[0,1]，其值越大，融合圖像的綜合保真效果越好。在本文試驗中，整體結(jié)構(gòu)信息分層匹配的高斯濾波器G取值如下。

(3)

2.2 試驗結(jié)果分析

文獻[9-11]是目前最新發(fā)表的可見光與紅外圖像融合方法，分別為圖像分解法、總體變分法和頻率變換法。這些方法均采用加性變換思路進行融合，側(cè)重高效提取可見光圖像的空間細節(jié)信息并將之注入至紅外圖像中。在試驗中，將這3個方法與本文融合方法進行對比分析，結(jié)果如圖3(c)～圖3(f)所示。通過對比紅外圖像與融合圖像的空間細節(jié)可以發(fā)現(xiàn)：圖像分解法、總體變分法、頻率變換法生成的融合圖像存在一定程度的細節(jié)模糊，而本文融合方法獲得的融合圖像的溫度與細節(jié)保真效果均較好。表1給出了融合圖像的客觀評價值，可知本文融合方法在溫度保真、細節(jié)保真及綜合保真方面均優(yōu)于對比方法。

圖3 圖像融合方法試驗效果對比Fig.3 Experimental comparison of image fusion methods

表1 圖像融合質(zhì)量定量評價

3 結(jié)束語

本文提出應(yīng)用整體結(jié)構(gòu)信息分層匹配的可見光與紅外圖像融合方法，采用數(shù)據(jù)擬合及分層匹配思路生成紅外與可見光融合圖像，實現(xiàn)大空間分辨率差異條件下(相差10倍以上)紅外與可見光圖像的高保真融合。試驗表明，本文融合方法的溫度與細節(jié)保真效果好，優(yōu)于對比方法。該方法已在我國遙感14號和遙感28號衛(wèi)星的遙感圖像產(chǎn)品生產(chǎn)線上應(yīng)用，且由于其計算復(fù)雜度低，并行性好，也適用于航天器的在軌應(yīng)用。