基于改進的條件生成對抗網(wǎng)絡(luò)的可見光紅外圖像轉(zhuǎn)換算法

馬得草，鮮勇，蘇娟，李少朋，李冰

（1 火箭軍工程大學(xué) 作戰(zhàn)保障學(xué)院， 西安 710025）

（2 火箭軍工程大學(xué) 核工程學(xué)院， 西安 710025）

0 引言

利用可見光圖像得到對應(yīng)紅外圖像的方法，能夠有效解決紅外圖像在紅外制導(dǎo)、紅外對抗和紅外目標識別任務(wù)中數(shù)據(jù)缺乏的問題。目前，采用紅外特性建模得到紅外仿真圖的方法，能夠有效仿真得到目標的紅外輻射特性。但是，該方法的仿真過程需要進行目標材質(zhì)分類、分割等繁瑣的操作，并且仿真得到的紅外圖像缺乏紋理信息。因此，需要探索一種高效準確的將可見光圖像轉(zhuǎn)換為對應(yīng)紅外圖像的新范式。

基于生成對抗網(wǎng)絡(luò)（Generative Adversarial Nets， GAN）［1］的圖像生成技術(shù)為紅外圖像的生成提供了新的思路。特別地，Pix2Pix［2］和CycleGAN［3］為可見光圖像轉(zhuǎn)換為紅外圖像提供了通用網(wǎng)絡(luò)框架，在文獻［4-8］中均采用條件生成對抗網(wǎng)絡(luò)的方式生成了紅外圖像。其中，ThermalGAN［4］和LayerGAN［5］通過多模態(tài)數(shù)據(jù)生成紅外圖像。ThermalGAN 分兩步生成紅外圖像，首先用可見光圖像和溫度矢量生成目標的平均溫度紅外圖像，然后用目標的平均溫度紅外圖像和可見光圖像生成更加精細的紅外圖像。LayerGAN 包括兩種方式生成紅外圖像：一種方法是使用溫度矢量、語義分割圖像和熱分割圖像生成紅外圖像；另一種方法是使用可見光圖像、語義分割圖像和熱分割圖像生成紅外圖像。這兩種方法對數(shù)據(jù)要求高，需要多種模態(tài)的數(shù)據(jù)，對于基于紅外圖像的行人重識別任務(wù)有著重要意義。文獻［6-8］算法僅將可見圖像作為輸入，輸出等效的紅外圖像。I-GANs［6］和Pix2pix-MRFFF［7］通過改進生成網(wǎng)絡(luò)來改善紅外生成圖像的質(zhì)量，而InfraGAN［8］基于UNetGAN［9］的思路是通過改進對抗網(wǎng)絡(luò)來提高紅外生成圖像的質(zhì)量。

本文針對現(xiàn)有方法生成的紅外圖像在不同程度上存在紋理不清晰、結(jié)構(gòu)缺失的問題，將可見圖像作為輸入，輸出等效的紅外圖像，通過改善生成網(wǎng)絡(luò)和對抗網(wǎng)絡(luò)來提高紅外生成圖像的質(zhì)量，基于ConvNext［10］設(shè)計生成網(wǎng)絡(luò)有效利用提取的可見光圖像的深層特征和淺層特征，對抗網(wǎng)絡(luò)通過對紅外生成圖像進行特征統(tǒng)計，對紅外生成圖像的灰度和結(jié)構(gòu)信息加以引導(dǎo)，減弱對生成網(wǎng)絡(luò)的約束，從而釋放生成網(wǎng)絡(luò)更大的潛能。

1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)是基于條件生成對抗網(wǎng)絡(luò)［11］（Conditional Generative Adversarial Nets， CGAN）改進而來的，由基于ConvNext 編碼解碼結(jié)構(gòu)的生成網(wǎng)絡(luò)和特征統(tǒng)計對抗網(wǎng)絡(luò)組成。其結(jié)構(gòu)如圖1 所示，生成網(wǎng)絡(luò)的解碼部分通過對編碼部分深層特征和底層特征的利用改善了紅外生成圖像的質(zhì)量，對抗網(wǎng)絡(luò)通過對圖像特征的一階特征統(tǒng)計量和二階特征統(tǒng)計量進行損失計算得到GAN 損失，與L1 損失結(jié)合作為總的損失，最終生成了更為清晰的紅外圖像。

圖1 算法結(jié)構(gòu)Fig.1 Algorithm structure

1.1 生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)以256×256 大小的可見光圖像作為輸入，將其轉(zhuǎn)換為對應(yīng)的紅外圖像，結(jié)構(gòu)如圖2 所示。具體來講，生成網(wǎng)絡(luò)在編碼部分通過步長為4 和2 的卷積對可見光圖像進行下采樣，通過卷積模塊提取可見光圖像的特征，如圖2（b）所示，最終使用在ImageNet 數(shù)據(jù)集上訓(xùn)練好的ConvNext_tiny 作為網(wǎng)絡(luò)的編碼器。在解碼部分，通過跳躍連接和殘差連接分別加強了對編碼部分提取的圖像底層特征和深層特征的利用。在上采樣過程中，通過上采樣模塊，如圖2（c）和（d）所示，重建出256×256 大小的紅外圖像。生成網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1 所示。

表1 生成網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Table 1 Generative networks structure parameter

圖2 生成網(wǎng)絡(luò)Fig.2 Generative Networks

該生成網(wǎng)絡(luò)在編碼部分主要采用的卷積是7×7 的大卷積核，步長為1，填充為3，每個Stages 的卷積通道數(shù)借鑒Tranformer 的經(jīng)驗，如ConvNext_tiny 的通道數(shù)分別設(shè)為96、192、384 和768，且每個Stages 中堆疊的卷積模塊之比為3∶3∶9∶3。在解碼部分，主要采用具有相同結(jié)構(gòu)的上采用模塊，包括兩個1×1 卷積核的卷積和一個3×3 卷積核的反卷積。其中卷積主要用于對反卷積結(jié)果進行微調(diào)，反卷積主要用于擴充圖像的尺寸，兩個殘差連接分別加強了編碼部分提取的特征和反卷積后結(jié)果的利用。

圖2（b）所示的卷積模塊采用了ConvNext 中的卷積模塊設(shè)計，文獻［10］證明了這種模塊的設(shè)計方法在分類、檢測和分割方面的優(yōu)異表現(xiàn)。此外，文獻［12］表明ConvNext 可以像當前最先進的Transformer 一樣魯棒和可靠，甚至更加可靠。UNet 網(wǎng)絡(luò)及其變體主要關(guān)注于編碼部分和解碼部分之間的跳躍連接，注重對圖像底層特征的利用而缺少對圖像深層特征的關(guān)注。圖2（c）所示的上采樣模塊通過殘差連接加強了對編碼部分圖像深層特征的利用。具體過程如式（1）所示。此外，上采樣模塊融合了卷積模塊中一些有益的設(shè)計，如采用更少的歸一化層，層歸一化（Layer Normalization， LN）替代批量歸一化（Batch Normalization，BN）等技巧。

式中，U(?)表示上采樣模塊操作，C(?)表示卷積模塊操作，D(?)表示采用轉(zhuǎn)置卷積進行上采樣，F(xiàn)deep表示深層特征。最終上采樣的結(jié)果與編碼部分的底層特征進行拼接，進行下一步的上采樣。生成網(wǎng)絡(luò)一共進行了5 次上采樣，最后一次上采樣采用圖2（d）所示的上采樣模塊，逐漸降低卷積的通道數(shù)，平滑地生成圖像。

1.2 對抗網(wǎng)絡(luò)

提出的對抗網(wǎng)絡(luò)稱為特征統(tǒng)計網(wǎng)絡(luò)（Statistical Feature Discriminator， SPatchGAN）是將一些常見的對抗網(wǎng)絡(luò)如PatchGAN［13］專注于圖像感受野特征的研究轉(zhuǎn)化為對圖像特征統(tǒng)計信息的研究，減小對生成網(wǎng)絡(luò)的約束，從而釋放生成網(wǎng)絡(luò)更大的潛能。統(tǒng)計特征網(wǎng)絡(luò)由特征提取層、特征計算部分和線性層組成，最后將圖像的特征統(tǒng)計量作為損失進行監(jiān)督。結(jié)構(gòu)如圖3 所示。表2 中展示了對抗網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)。具體地，對抗網(wǎng)絡(luò)通過平均池化對圖像進行降采樣，在圖像的三個不同尺度上通過相同結(jié)構(gòu)的卷積層進行特征提?。ū? 中Conv1～Conv5），然后進行統(tǒng)計特征計算，最后通過線性層得出的損失相加得到總的損失。文獻［8］表明，L1 損失和基于結(jié)構(gòu)相似性（Structural Similarity Index Measure， SSIM）的損失結(jié)合可以有效地提高紅外生成圖像的質(zhì)量，其中評價指標SSIM 由均值、標準差和協(xié)方差組成，即通過圖像一階信息和二階信息的結(jié)合構(gòu)建的。因此，選取圖像特征的一階統(tǒng)計量（均值）和二階統(tǒng)計量（標準差）作為損失監(jiān)督。

表2 對抗網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Table 2 Adversarial networks structure parameter

圖3 對抗網(wǎng)絡(luò)Fig.3 Adversarial networks

1.3 損失函數(shù)

僅使用L1 損失和GAN 損失用于生成高質(zhì)量的紅外圖像，本文算法的損失函數(shù)表示為

式中，G?表示總的損失，?CGAN表示條件生成對抗網(wǎng)絡(luò)的損失，?L1表示L1 損失；E( ?)表示期望值，下標x～Pdata表示x取自可見光圖像的數(shù)據(jù)，下標x，y～Pdata表示x取自可見光圖像及y取自x對應(yīng)的真實紅外圖像的數(shù)據(jù)；λ表示L1 損失的權(quán)重，y表示標簽信息（真實紅外圖像），D(x，y)表示判別器判斷真實數(shù)據(jù)是否真實的概率；G(x，z)表示生成器根據(jù)源域圖像x（可見光圖像）生成的目標域圖像z（紅外圖像），D(x，G(x，z))表示判別器判斷生成數(shù)據(jù)G(x，z)是否真實的概率。

2 實驗驗證

2.1 數(shù)據(jù)集

實驗涉及3 個不同的數(shù)據(jù)集（VEDAI Dataset［14］、OSU Color-Thermal Dataset［15］和KAIST Dataset［16］），均由配準好的可見光圖像和紅外圖像對組成。VEDAI 數(shù)據(jù)集采集的是2012年美國猶他州AGRC 衛(wèi)星的春季圖像，包含1 024×1 024（其中每個像素代表了12.5 cm×12.5 cm 的區(qū)域）和512×512（其中每個像素代表了25 cm×25 cm 的區(qū)域）兩種尺寸的圖像，紅外圖像為近紅外圖像。將VEDAI 數(shù)據(jù)集中512×512 尺寸的圖像裁剪為包含目標的256×256 尺寸的圖像以適應(yīng)網(wǎng)絡(luò)輸入。其中，1 046 對用于訓(xùn)練，200 對用于測試。OSU 數(shù)據(jù)集常用于可見光圖像和紅外圖像的融合，其中紅外相機采用Raytheon PalmIR 250D，25 mm 的鏡頭，光學(xué)相機采用Sony TRV87 Handycam，采樣頻率為30 Hz，得到的圖像分辨率為320×240，最終拍攝得到的圖像采用單應(yīng)性矩陣和人工選點的方式進行配準。OSU 數(shù)據(jù)集的拍攝場景是美國俄亥俄州立大學(xué)校園內(nèi)繁忙的道路交叉口。OSU 數(shù)據(jù)集圖像被裁剪并放大為256×256 尺寸以適應(yīng)網(wǎng)絡(luò)輸入。因為該數(shù)據(jù)集得到的圖像場景單一，對該數(shù)據(jù)進行了抽樣處理。最終，683 對圖像用于訓(xùn)練，170 對圖像用于測試。KAIST 數(shù)據(jù)集包含學(xué)校、街道和鄉(xiāng)村的各種日常交通場景，一般用于行人檢測，其中彩色相機是PointGrey Flea3，彩色圖像尺寸為640×480，紅外相機是FLIR-A35，紅外圖像尺寸為320×256，經(jīng)過相機標定，最終得到640×512 尺寸的圖像對。實驗中選擇KAIST 數(shù)據(jù)集中白天拍攝的圖像，并被縮放為256×256 尺寸以適應(yīng)網(wǎng)絡(luò)輸入。經(jīng)過抽樣處理，減少大量重復(fù)的圖像對，最終，5 008 對用于訓(xùn)練，1 239 對用于測試。

2.2 評價指標

6 個客觀評價指標用于評估生成圖像質(zhì)量，包括峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）［17］、結(jié)構(gòu)相似性（SSIM）、多尺度結(jié)構(gòu)相似性（Multi-scale Structural Similarity Index Measure， MS-SSIM）［18］，學(xué)習(xí)感知圖像塊相似度 （Learned Perceptual Image Patch Similarity， LPIPS）［19］、 Fréhet Inception 距離（Fréchet Inception Distance， FID）［20］和灰度相似性。PSNR 和SSIM 通常一起用于評估圖像質(zhì)量。多尺度結(jié)構(gòu)相似性彌補了結(jié)構(gòu)相似性在圖像多尺度評價上的不足。LPIPS 測量兩個圖像特征向量之間的歐幾里得距離。為了計算指標，比較特征是從在ImageNet 上預(yù)訓(xùn)練的基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的主干中獲得的（實驗中使用了AlexNet 網(wǎng)絡(luò)模型）。FID 是兩個圖像數(shù)據(jù)集之間相似性的度量，在本文被用于評估生成紅外圖像集和真實紅外圖像集的相似性，它被證明與人類對視覺質(zhì)量的判斷有很好的相關(guān)性，并且常用于評估生成對抗網(wǎng)絡(luò)樣本的質(zhì)量。灰度相關(guān)性是采用灰度相關(guān)匹配中常用的歸一化積相關(guān)算法中歸一化相關(guān)性（Normalized Cross Correlation，NCC）作為評價指標。文獻［21］中證明了紅外圖像的灰度特征與溫度分布有著密切的關(guān)系，因而灰度相關(guān)性評價指標可以在一定程度上表示溫度分布相關(guān)性。

2.3 訓(xùn)練細節(jié)

所有實驗均在Intel （R）Core （TM）i9-10980XE CPU 3GHz 和一塊NVIDIA RTX 3090 GPU 上運行，采用的深度學(xué)習(xí)框架是Pytorch。提出的基于改進的條件生成對抗網(wǎng)絡(luò)的紅外生成算法，使用了Adam 優(yōu)化器，其中β1和β2分別設(shè)置為0.5 和0.999。網(wǎng)絡(luò)訓(xùn)練共包含200 輪訓(xùn)練，以確保模型收斂。其中，生成網(wǎng)絡(luò)前100 輪訓(xùn)練的學(xué)習(xí)率固定在0.000 2，然后在剩余的100 輪訓(xùn)練中線性下降到0，對抗網(wǎng)絡(luò)前100 輪訓(xùn)練的學(xué)習(xí)率固定在0.000 002，然后在剩余的100 輪訓(xùn)練中線性下降到0。

在本文算法中，L1 損失和GAN 損失對于網(wǎng)絡(luò)的訓(xùn)練起著重要作用，設(shè)置λ 作為L1 損失的權(quán)重系數(shù)用于協(xié)調(diào)L1 損失和GAN 損失。L1 損失設(shè)置過大將導(dǎo)致對抗網(wǎng)絡(luò)不能有效工作，從而導(dǎo)致生成圖像缺乏紋理信息，不添加L1 損失或者L1 損失設(shè)置過小將導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練。圖4 表明當λ取100 時，SSIM、MSSSIM、PSNR、LPIPS、FID 和NCC 評價指標均取得了最好值，因而將λ 設(shè)置為100。

圖4 評價指標隨權(quán)重系數(shù)λ 的變化Fig.4 Change of evaluation metrics with the weight coefficient λ

2.4 消融實驗

為了驗證本文方法的有效性，在VEDAI 數(shù)據(jù)集上進行了消融實驗，Pix2Pix 作為基線模型分別驗證了改進的生成網(wǎng)絡(luò)和對抗網(wǎng)絡(luò)的效果，為了公平起見消融實驗中生成網(wǎng)絡(luò)的編碼部分沒有加載預(yù)訓(xùn)練參數(shù)，將特征統(tǒng)計對抗網(wǎng)絡(luò)（SPatchGAN）、無兩種殘差連接的上采樣模塊（Upsampling1）、僅有第2 種殘差連接的上采樣模塊（Upsampling2）、僅有第1 種殘差連接的上采樣模塊（Upsampling3）、有兩種殘差連接的上采樣模塊（Upsampling4）和Pix2Pix 模型生成結(jié)果進行對比。主觀評價結(jié)果如圖5 所示，客觀評價結(jié)果如表3 所示。

表3 消融實驗客觀對比結(jié)果Table 3 The objective comparison results of ablation experiment

圖5 消融實驗主觀對比結(jié)果Fig.5 The subjective comparison results of ablation experiment

觀察圖5 的生成結(jié)果可以發(fā)現(xiàn)，采用本文提出的統(tǒng)計特征對抗網(wǎng)絡(luò)生成的紅外圖像在圖像的灰度信息上保持較好（圖5（d）紅色框所示），原因在于本文對抗網(wǎng)絡(luò)中采用均值和標準差作為統(tǒng)計量，均值有助于引導(dǎo)圖像生成過程中灰度信息的保持，標準差有助于圖像生成過程中結(jié)構(gòu)的保持。這在文獻［22］中也得到了證明。圖5（e）～（h）中紅色框結(jié)果顯示了本文提出的上采樣模塊對于紅外圖像生成過程中的灰度真實性有較大的改善。

從表3 中的數(shù)據(jù)對比可以發(fā)現(xiàn)，SPatchGAN 對MS-SSIM 的提升較大，這主要在于其相比PatchGAN 提取了生成圖像的多尺度特征，從不同尺度的角度分別約束了圖像的生成。從表3 中的第4 行至第7 行數(shù)據(jù)觀察可以發(fā)現(xiàn)，提出的幾種上采樣模塊對5 種指標的提升均有幫助，從4 種上采樣模塊的對比中可以看出上采樣模塊中第一種殘差連接的效果更加顯著（Upsampling3 的結(jié)果相比Upsampling2 的結(jié)果指標提升更明顯），第一種殘差連接主要將編碼部分的深層特征傳入解碼部分，說明加強對生成網(wǎng)絡(luò)編碼部分提取圖像深層特征的利用有助于改善生成圖像的質(zhì)量。

2.5 對比實驗

為了驗證本文方法的優(yōu)越性，在3 個數(shù)據(jù)集上進行了實驗驗證，將本文方法與基于條件生成對抗網(wǎng)絡(luò)的紅外圖像生成算法Pix2Pix、ThermalGAN、I-GANs、InfraGAN 進行對比實驗。ThermalGAN 使用了可見光圖像和溫度矢量作為輸入，為了對比的公平，實驗中的ThermalGAN 僅使用了可見光圖像作為輸入。InfraGAN 的輸入是512×512 大小的圖像，對InfraGAN 進行了修改以適應(yīng)256×256 大小圖像的輸入。圖6展示了實驗的主觀對比結(jié)果，表4 展示了客觀評價結(jié)果。

表4 不同算法的客觀實驗結(jié)果對比Table 4 The objective experiment results comparison of different algorithms

圖6 不同算法的主觀實驗結(jié)果對比Fig.6 The subjective experiment results comparison of different algorithms

圖6 中3 個數(shù)據(jù)集典型紅外圖像的生成結(jié)果表示5 種模型在VEDAI 數(shù)據(jù)集上的生成效果均較好，5 種模型在VEDAI 數(shù)據(jù)集上的生成結(jié)果主要體現(xiàn)在圖像的灰度信息差別上，從最終結(jié)果可以看出本文算法生成的紅外圖像灰度信息更加準確。OSU 數(shù)據(jù)集場景較為單一，本文算法在OSU 數(shù)據(jù)集上對于微小物體有著更好的生成效果，細節(jié)更加分明。本文方法在KAIST 數(shù)據(jù)集上相比其他4 個模型，紅外生成圖像中的物體紋理更清晰，細節(jié)信息更豐富。

表4 數(shù)據(jù)表明本文方法在3 個不同數(shù)據(jù)集上有著最好的表現(xiàn)，尤其在高分辨率的VEDAI 數(shù)據(jù)集上。從對比結(jié)果來看，隨著圖像分辨率的增加，算法的性能出現(xiàn)了下降，這將在下一步研究中進行解決。綜合主觀和客觀對比結(jié)果，本文算法的紅外生成圖像質(zhì)量優(yōu)于其他算法的生成結(jié)果。

表5 中展示了5 種算法的不同結(jié)構(gòu)，本文算法僅使用L1 損失和GAN 損失對生成網(wǎng)絡(luò)進行指導(dǎo)，便取得了較好的紅外圖像生成效果。算法設(shè)計時沒有考慮網(wǎng)絡(luò)規(guī)模和訓(xùn)練耗時的因素，下一步將在網(wǎng)絡(luò)輕量化和減少網(wǎng)絡(luò)訓(xùn)練耗時方面進行改善。

3 匹配應(yīng)用實驗

為了驗證本文算法在可見光圖像與紅外圖像異源匹配方面的應(yīng)用價值，采用3 種經(jīng)典的傳統(tǒng)匹配算法和3 種較為先進的基于深度學(xué)習(xí)的匹配算法進行實驗驗證。傳統(tǒng)匹配算法分別是尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）算法、SURF（Speeded Up Robust Features）算法和ORB（Oriented FAST and Rotated BRIEF）算法，基于深度學(xué)習(xí)的匹配算法分別是D2-Net 算法［23］、SuperGlue 算法［24］和LoFTR 算法［25］。匹配實驗結(jié)果采用匹配終點誤差（Matching end Point Error，EPE）進行評價，表示為

式中，n代表匹配成功的點數(shù)，(xi，yi)代表特征點在目標圖像上的位置，代表相應(yīng)特征點經(jīng)過真實單應(yīng)性矩陣轉(zhuǎn)換后的位置。所使用的數(shù)據(jù)集均是配準好的圖像對，因此單應(yīng)性矩陣實際上是一個單位矩陣。

3.1 傳統(tǒng)匹配算法

SIFT 算法是通過求一幅圖中的特征點及其有關(guān)尺度和方向的描述子得到特征，并進行圖像特征點匹配。SIFT 所查找到的關(guān)鍵點是一些十分突出，不會因光照、仿射變換和噪音等因素而變化的點。SURF 算法是一種穩(wěn)健的局部特征點檢測和描述算法。SURF 的出現(xiàn)很大程度是對SIFT 算法的改進，用一種更為高效的方式改進了特征的提取和描述方式。ORB 算法是一種快速特征點提取和描述的算法，其特征檢測是將FAST 特征點的檢測方法與BRIEF 特征描述子結(jié)合起來，并在它們原來的基礎(chǔ)上做了改進與優(yōu)化。采用不同的傳統(tǒng)匹配算法（SIFT 算法、SURF 算法和ORB 算法）進行圖像特征提取，之后用K 近鄰算法匹配特征點，并用隨機采樣一致性算法剔除錯誤的匹配點得到最終的匹配結(jié)果。特別地，由于算法限制，其中部分圖像無法匹配，因此在評價生成紅外圖像的傳統(tǒng)匹配算法結(jié)果時，只計算了成功匹配圖像對的匹配終點誤差。

3.2 基于深度學(xué)習(xí)的匹配算法

D2-Net［23］直接從特征描述子進行關(guān)鍵特征檢測，將檢測放在處理的后期階段，從而獲得更穩(wěn)定的關(guān)鍵點，解決了在困難的成像條件下找到可靠像素級匹配的問題。SuperGlue［24］提出了一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的特征匹配算法，采用SuperPoint 提取特征點及描述符，通過求解可微分最優(yōu)化轉(zhuǎn)移問題實現(xiàn)特征匹配。LoFTR［25］是一種不依賴關(guān)鍵點檢測的端到端特征匹配方法，利用卷積神經(jīng)網(wǎng)絡(luò)初步提取特征，再利用Transformer 的全局注意力加強特征，可以較好地對低紋理圖片和相似區(qū)域進行匹配。使用這3 種匹配算法時，均采用它們提供的預(yù)訓(xùn)練權(quán)重進行匹配實驗。

3.3 匹配實驗驗證

為了驗證本文算法在可見光圖像和紅外圖像異源匹配任務(wù)中的應(yīng)用價值，在3 個數(shù)據(jù)集上對生成的結(jié)果進行了匹配實驗，分別對比了Pix2Pix、ThermalGAN、I-GANs、InfraGAN 和本文算法生成的紅外圖像與真實紅外圖像之間的匹配結(jié)果。此外，還添加了可見光圖像和紅外圖像的匹配實驗作為對照。圖7 展示了6 種匹配方法在可見光圖像與紅外圖像之間的匹配結(jié)果，圖8 展示了6 種匹配方法在相同紅外圖像之間的匹配結(jié)果。表6 展示了6 種匹配方法的匹配終點誤差。

表6 6 種匹配算法的匹配終點誤差Table 6 EPE of six matching algorithms

圖7 6 種匹配算法在異源匹配中的表現(xiàn)Fig.7 Performance of six matching algorithms in heterogeneous matching

圖8 6 種匹配算法在紅外圖像匹配上的表現(xiàn)Fig.8 Performance of six matching algorithms in infrared image matching

圖7 和圖8 每組匹配圖像對中左側(cè)圖像為真實紅外圖像作為基準圖像，右側(cè)為待匹配圖像。對比發(fā)現(xiàn)，6 種算法在同源圖像的匹配上相比異源圖像提取的特征點更多且錯誤匹配的情況更少。從圖7 可以發(fā)現(xiàn)基于深度學(xué)習(xí)的匹配算法相比傳統(tǒng)匹配算法在異源圖像的匹配上提取的特征點更多且誤匹配現(xiàn)象更少。特別地，傳統(tǒng)圖像匹配算法在異源圖像匹配過程中可能會出現(xiàn)失敗的現(xiàn)象，如圖7（c）KAIST 數(shù)據(jù)集上的結(jié)果所示。

從表6 的結(jié)果可以發(fā)現(xiàn)，LoFTR 匹配算法在3 個數(shù)據(jù)集上表現(xiàn)最好。相比采用可見光圖像進行匹配，利用圖像轉(zhuǎn)換算法將可見光圖像轉(zhuǎn)換的對應(yīng)紅外圖像進行匹配，可以有效降低匹配終點誤差。對比表4 和表6的數(shù)據(jù)可以發(fā)現(xiàn)，匹配終點誤差和6 種客觀評價指標并不成嚴格的正比關(guān)系，但是具有正相關(guān)關(guān)系，即一般客觀評價指標表現(xiàn)越好，相應(yīng)的匹配終點誤差也越小。從表4 和表6 的結(jié)果中可以發(fā)現(xiàn)，本文算法不僅主客觀上表現(xiàn)較好，而且在匹配任務(wù)中也有著較好的表現(xiàn)。

4 結(jié)論

本文提出了一種基于改進的條件生成對抗網(wǎng)絡(luò)的可見光紅外圖像轉(zhuǎn)換算法，用于解決當前典型紅外生成算法中生成圖像紋理細節(jié)信息差和結(jié)構(gòu)信息差的問題。該算法提出的生成網(wǎng)絡(luò)不僅注重對圖像底層特征的利用，而且加強了對圖像深層特征的利用。對抗網(wǎng)絡(luò)通過圖像特征的一階統(tǒng)計量（均值）來引導(dǎo)紅外圖像在生成過程中產(chǎn)生更加真實的灰度信息，通過圖像特征的二階統(tǒng)計量（標準差）來引導(dǎo)紅外圖像在生成過程中保持結(jié)構(gòu)信息。實驗結(jié)果表明，所提算法生成了紋理細膩、結(jié)構(gòu)清晰的紅外圖像，并且生成的紅外圖像在可見光圖像與紅外圖像匹配方面有較好的應(yīng)用價值，適用于室外溫度相對固定情況下的可見光圖像和對應(yīng)紅外圖像的轉(zhuǎn)換。