基于HSV色彩空間的紅外與可見光圖像融合方法

胡錦昊，王明昊，夏天揚，王悅行，杜海靜，徐傳剛

（1.南開大學人工智能學院，天津 300350；2.天津津航技術物理研究所，天津 300308）

0 引 言

導彈打擊目標時，需要捕控手根據(jù)導彈導引頭所傳回的圖像信息選擇實施打擊的位置?？梢姽鈭D像具有豐富的亮度及紋理信息，能保留物體的色彩及輪廓，通過人眼觀察即可獲得圖像所包含的大部分信息，如物體的尺寸和位置。因此，通常情況下僅使用可見光圖像就能找到目標并實施打擊。但如果作戰(zhàn)時的光照條件受限或目標進行偽裝，此時僅使用可見光圖像將不利于捕控手準確識別目標，需要結合其他傳感器所獲取的信息進行綜合判斷［1］。紅外相機可以根據(jù)熱輻射差異區(qū)分目標與背景，這使得紅外圖像具有更強的抗干擾能力和穿透性［2］。但紅外圖像分辨率低，僅能得到目標大致的輪廓而丟失了大部分的背景信息［3］。由于需要獲得目標周圍的環(huán)境信息，因此無法直接使用紅外圖像進行目標識別。因此，可以將可見光圖像及紅外圖像按一定的方式進行圖像融合，使得融合圖像在具有可見光的色彩紋理信息的同時又能具備較好的目標指示能力。紅外-可見光圖像雙光融合，正是從像素級對兩種圖像進行融合的技術，對于實施針對軍事目標的跟蹤和打擊以及對非軍事目標的識別和追蹤等都具有重要的意義。

由于結構簡單、原理清晰，RGB 色彩空間系統(tǒng)成為計算機中應用最廣泛的色彩系統(tǒng)。目前，許多雙光融合算法采用了基于RGB 色彩空間系統(tǒng)模型。文獻［4］提出基于各向異性擴散（anisotropic diffusion fusion，ADF）的方法，將原始圖像分解為基礎層和細節(jié)層，經(jīng)過Karhunen-Loeve 變換后再進行線性疊加，最終組合得到融合圖像，算法易于實現(xiàn)、融合后的損失小，但最終的視覺效果并不理想。文獻［5］和文獻［6］分別提出基于卷積神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）和基于殘差神經(jīng)網(wǎng)絡（ResNet）的方法，搭建卷積神經(jīng)網(wǎng)絡和殘差神經(jīng)網(wǎng)絡，通過大量的訓練優(yōu)化參數(shù)進而融合圖像，融合圖像的性能指標較優(yōu)，但需要構建數(shù)據(jù)集、消耗大量時間來訓練耗時較長。文獻［7］提出基于梯度轉移融合（gradient transfer fusion，GTF）的方法，先構建了目標函數(shù)，通過迭代求解目標函數(shù)，使得融合后的圖像更接近紅外圖像，并且保留了更多的外觀信息，其優(yōu)勢在于融合后的視覺效果好，但由于需要迭代求解，算法無法達到實時處理的要求。文獻［8］基于潛在低秩表示（latent low-rank representation，LatLRR）的方法，先對原始圖像進行分解得到低秩部分和顯著部分，再用兩種不同的策略進行融合，最后重建得到圖像，該算法融合結果的評價指標較優(yōu)，但其視覺效果不是非常理想。為了滿足紅外武器系統(tǒng)精準打擊目標的任務需求，融合后的圖像應首先具備較好的視覺效果，能滿足人眼對圖像的識別要求；其次應盡可能保證融合后圖像中目標、背景的信息不被丟失。但由于人眼無法直接根據(jù)紅、綠、藍三種顏色的比例來區(qū)分物體，且RGB 系統(tǒng)各個通道之間相關性高，難以進行分離從而進行獨立分析，這使得RGB 系統(tǒng)融合圖像的視覺效果不是十分理想。

相比于RGB 系統(tǒng)，HSV 色彩空間系統(tǒng)的構建是基于人類對色彩的生理感知，將色彩的亮度分離，而色調和飽和度與人類感知相適應，從而使它在圖像處理領域中具有很高的應用價值［9］。因此，出于對視覺效果的考慮，本文提出了兩種基于HSV色彩空間系統(tǒng)的紅外-可見光雙光圖像融合算法，并在MATLAB R2021a環(huán)境下對其進行了仿真測試及對比。

1 本文算法介紹

1.1 HSV模型原理

HSV 模型中，顏色的3個參數(shù)分別為色調（hue）、飽和度（saturation）和明度（value），明度又稱為亮度（brightness）。色調表示色彩信息，即所處的光譜顏色的位置；飽和度表示色彩的鮮艷程度；亮度表示色彩的明亮程度。HSV 模型的各通道之間具有較強的獨立性，便于分通道對圖像進行處理。相比RGB色彩模型，HSV 模型更接近人類對彩色的感知經(jīng)驗，可以直觀地表達顏色的色調、鮮艷程度和明暗程度，方便人眼進行顏色感知。

1.2 融合算法流程

1.2.1 灰度紅外-可見光融合

本文提出自適應HSV（adaptive hue-saturationvalue，AHSV）雙光融合算法，該算法先將可見光與紅外圖像轉換到HSV模型下，將紅外圖像的灰度映射到融合圖像的H 和S 通道；然后根據(jù)紅外圖像與可見光圖像不同區(qū)域的亮度進行加權融合，從而獲得HSV模型下的融合圖像；最后再轉換到RGB 空間進行顯示。算法流程如圖1所示。具體流程如下。

圖1 灰度紅外-可見光融合算法流程Fig.1 Gray infrared-visible light fusion algorithm flow

1）將可見光與紅外圖像轉換到HSV 模型下。由于紅外圖像為單通道圖像，故將圖像進行擴充，將單通道圖像復制并拷貝到其余兩個通道使之擴充為三通道圖像。利用文獻［10］中提出的基于色域變換對的算法進行轉換，該算法將RGB 圖像的紅、綠和藍色值分別通過判斷賦值后轉換為HSV圖像的色調、飽和度和明度值，最終得到HSV 空間下的紅外與可見光圖像。

2）根據(jù)紅外圖像的灰度，利用式（1）映射到融合圖像的H通道

式中：H（i，j）表示融合圖像H 通道上某像素點的色調值；fIR（i，j）為紅外圖像fIR上某像素的灰度值；i、j為該像素的行和列；fIRmax、fIRmin表示紅外圖像像素灰度的最大值和最小值。

3）將紅外圖像的灰度利用高斯函數(shù)映射到融合圖像的S通道

式中：S（i，j）表示融合圖像S 通道上某像素的飽和度值；k為飽和系數(shù)；σ為高斯函數(shù)的標準差。k和σ的取值會影響圖像的整體飽和度。k值過大會影響圖像的視覺效果，一般k取0.2 到1.5 之間，本文取k＝0.5；σ取1到3之間，本文取σ=2.5。

4）根據(jù)可見光與紅外圖像亮度的差值，采用雙閾值方法進行判斷得到圖像的融合系數(shù)，最后相加得到融合圖像V 通道的值?？紤]轉換圖像的V 通道，設可見光與紅外圖像上某像素V 通道的取值分別為VVI（i，j）和VIR（i，j），閾值為T1和T2（T1＜T2），紅外與可見光的融合系數(shù)分別為?1和?2。根據(jù)圖像信息計算閾值T1和T2

式中：fVI（i，j）為可見光圖像fVI上某像素的灰度值。若當：

（1）|VIR（i，j）-VVI（i，j）|＜T1時，可見光與紅外圖像的亮度差異不大，取

（2）T1≤|VIR（i，j）-VVI（i，j）|≤T2時，可見光與紅外圖像存在一定的亮度差異，取

（3）|VIR（i，j）-VVI（i，j）|＞T2時，可見光與紅外圖像存在較大亮度差異，主要對應圖像上部分區(qū)域光照過強使得目標被光線遮蓋的情況，如：車燈過亮，產(chǎn)生光暈遮擋車身。為盡可能削弱光線對目標的遮擋效果，使得目標能顯露出來以便觀察者觀察，取

融合圖像該像素點的亮度最終確定為

5）利用文獻［11］中所述方法將HSV 模型下的融合圖像映射到RGB色彩模型下，顯示融合圖像結果。

1.2.2 偽色彩紅外-可見光融合

紅外圖像通常是灰度圖像，而可見光圖像則是彩色圖像。如果將可見光圖像直接灰度化后與紅外圖像融合，則會使可見光帶有的顏色等信息丟失。本文提出偽彩色編碼HSV（pseudo-color coding huesaturation-value，PCCHSV）雙光融合算法，采取的策略是：先對紅外圖像進行偽彩色編碼，然后將編碼后的偽彩色紅外圖像映射到HSV色彩空間；再按照紅外圖像的原始灰度值與彩色可見光圖像進行HSV 模型下的融合，從而達到保留可見光豐富信息的目的。算法流程如圖2所示。

圖2 偽彩色紅外-可見光融合算法流程Fig.2 Pseudo color infrared-visible light fusion algorithm flow

首先，對紅外圖像按式（8）進行HSV 模型偽彩色編碼。

式中：s和v是兩個常數(shù)，分別影響圖像的飽和程度與明暗程度。經(jīng)過調試圖像的亮度和飽和度，為保證圖像視覺效果，取

隨后將可見光通過矩陣映射到HSV 模型下，與HSV 模型下的偽彩色紅外圖像進行色調和飽和度通道映射

式中：H（i，j）和S（i，j）分別表示融合圖像上某點的色調值和飽和度值；fIR表示紅外圖像上某點的灰度值；fIRmax和fIRmin分別表示紅外圖像灰度值的最大和最小值；kH和kS是色調常數(shù)和飽和度常數(shù)，分別影響圖像色調和飽和度。

對融合圖像，當kH＜0.2時，圖像整體呈現(xiàn)紅色；當0.2≤kH＜0.3 時，圖像整體呈現(xiàn)黃色；當0.3≤kH＜0.9時，圖像整體呈現(xiàn)綠色；當kH≥0.9時，圖像高亮度處出現(xiàn)藍紫色。一般地，圖像為橙黃色和黃綠色時，最有利于人眼對目標的識別。kS越大，融合圖像對暗處信息越敏感，kS取值一般在5 到110 之間。本文取kH＝0.2、kS＝100。

對于亮度通道融合映射，設T為融合閾值，μ為融合系數(shù)。則有

式中：T為經(jīng)驗值，本文取T＝100。

融合圖像上某點的亮度灰度值由式（13）確定。

式中：τ為暗信息值，一般取1到5之間的整數(shù)，τ的取值與融合圖像對暗處信息的還原程度有關，本文取τ＝2。

2 實驗結果與分析

2.1 實驗組設置

本文融合圖像對比評測基于可見光與紅外圖像融合基準（visible and infrared image fusion benchmark，VIFB）［11］，采用統(tǒng)一的性能評價平臺。挑選了6 組比較有代表性的紅外和可見光圖像，來模擬各類場景下的目標識別任務，如圖3所示。

圖3 實驗所使用的雙光圖像Fig.3 Visible and infrared images used in the experiment

測試圖像分別針對：夜間光源對目標的遮蓋問題（組1）；夜間圖像融合后細節(jié)保留問題（組2）；高亮環(huán)境中陰影中的紅外特征目標提取問題（組3）；雪天高亮反光和低溫環(huán)境紅外圖像融合問題（組4）；夜間整體圖像細節(jié)的協(xié)調處理問題（組5）；可見光圖像信息部分缺失問題（組6）。

為驗證本文方法的有效性，選用5 種圖像融合算法進行對比測試。它們分別是：基于各向異性擴散（ADF）的方法［4］；基于卷積神經(jīng)網(wǎng)絡（CNN）的方法［5］；基于殘差神經(jīng)網(wǎng)絡（ResNet）的方法［6］；基于梯度轉移融合（GTF）的方法［7］；基于潛在低秩表示（LatLRR）的方法［8］。CNN 和ResNet 選用了已訓練好的模型進行測試，各方法使用參數(shù)均與對應論文原文保持一致。

本文所用方法的設置參數(shù)如下所示。

1）AHSV 方法：飽和系數(shù)k＝0.5；高斯函數(shù)標準差σ＝2.5。

2）PCCHSV 方法：色調系數(shù)kH＝0.2；飽和系數(shù)kS＝100；融合閾值T＝100；暗信息值系數(shù)τ＝2。

2.2 實驗評價指標

融合圖像質量評測分為主觀評測與客觀評測兩部分。主觀評測即目視效果評測，是圖像融合效果最直接的評價方法，需要由人對紅外與可見光圖像及它們對應的融合圖像進行比對，判斷圖像保真度、細節(jié)豐富度等指標。由于本文算法側重于滿足人眼對目標識別的要求，故以主觀評測的結果為判斷融合圖像質量的主要依據(jù)。

客觀評測需要針對融合圖像的各項性能指標進行對比。本文選擇了信息熵（EN）、互信息（MI）、峰值信噪比（PSNR）、結構相似性（SSIM）進行效果評價。信息熵表征圖像所含信息量的多少；互信息描述圖像之間的相關性和冗余性；峰值信噪比基于融合圖像與原圖像對應像素的誤差來衡量融合圖像的質量；結構相似性從亮度、對比度、結構3個方面度量圖像相似性。

2.3 融合圖像結果分析

將各算法得到的融合圖像進行整合，直觀地對比圖像質量和視覺效果。生成圖像整合結果如圖4～9所示。

由圖4 和圖5 可以看出：CNN、ResNet 和LatLRR算法難以應對高亮光源干擾，GTF算法可以避免強光干擾，但背景環(huán)境中的信息損失較大；本文提出的兩種融合方法不僅能有效地處理強光干擾情況，還能很好地還原背景信息。

圖4 夜間高光遮蔽融合結果Fig.4 Fusion results of highlight masking at night

圖5 圖像細節(jié)保留融合結果Fig.5 Fusion results of image detail preservation

在圖6 和圖7 的日間場景的圖像融合中，本文的兩種方法均實現(xiàn)了對紅外特征目標的突出顯示，便于在較亮的場景中找到目標的位置。并且，使用偽彩色編碼的PCCHSV算法在日間環(huán)境能有效應對陰影，可用于去除偽影。

圖6 陰影中目標提取融合結果Fig.6 Fusion results of target extraction in shadow

圖7 雪天反光與低溫環(huán)境圖像融合結果Fig.7 Fusion results of snow reflection and low temperature environment images

在圖8 中，GTF 和CNN 算法沒有將所有目標都很好地突出顯示出來，而本文算法在凸顯人物的同時也還原了圖片中的背景細節(jié)。在圖9 中，CNN 和LatLRR 算法未去除光源干擾，可見光圖像右側部分信息缺失，本文算法有效利用了紅外圖像的信息，實現(xiàn)了對缺失部分真實情況的還原。

圖8 夜間圖像細節(jié)的協(xié)調處理融合結果Fig.8 Fusion results of image detail coordination processing at night

圖9 圖像信息部分缺失融合結果Fig.9 Fusion results of partial loss of image information

在客觀評測中，綜合各對照算法的圖像性能指標，生成對照圖，如圖10所示。4種指標大小與融合圖像質量均為正相關。PCCHSV 算法由于像素值與原圖差異較大，且與AHSV 方法原理類似，故僅使用AHSV 算法融合圖像與其他算法圖像進行性能指標對比。由圖10可知：本文算法在峰值信噪比和結構相似性方面均位于領先位置，與最優(yōu)方法結果差距在3%以內(nèi)；在互信息方面，低于CNN與ResNet算法，考慮到訓練成本和時間消耗，該性能差距可以接受；在信息熵方面表現(xiàn)一般，具有進一步改進的空間。

圖10 客觀評測結果Fig.10 Objective evaluation results

綜合主觀評測與客觀評測結果，本文算法很大程度上解決了各場景中由于亮度差異、圖像不同部分處理不均勻導致目標信息丟失的問題，具有一定的視覺效果優(yōu)勢。

通過本文算法獲得的融合圖像更便于人眼觀察，可滿足通過觀察者觀察圖像進行目標追蹤等任務的要求。由本文兩種算法在不同場景下的實驗結果可以看出：AHSV算法在處理夜間場景時的目視細節(jié)留存度更高，適用于處理環(huán)境亮度較低的、需要場景信息整體協(xié)調的融合任務；PCCHSV算法處理白天場景的效果更佳，偽彩色編碼使得目標的輪廓更為突出，適用于處理高亮環(huán)境下對特定目標的識別跟蹤任務。

3 結束語

針對夜間紅外與可見光融合視覺效果不佳，導致目標檢測效果差的問題，本文提出了一種基于HSV色彩系統(tǒng)的紅外-可見光雙光融合算法。該算法首先將紅外圖像灰度圖以及紅外圖像偽彩色編碼圖映射到HSV模型上；再分別從色調、飽和度與亮度這三個通道建立與HSV空間中可見光圖像三通道的對應關系，建立融合模型；最后通過色彩模型變換，將圖像轉換到RGB空間，獲得AHSV與PCCHSV兩種方法在RGB空間下的融合圖像。綜合主觀測評與客觀測評結果可知，與其他雙光融合算法相比，本文算法得到的融合圖像在結構相似性與互信息方面有一定優(yōu)勢；在圖像視覺效果方面，本文算法的圖像融合質量有較大的提高，尤其在細節(jié)保留與干擾去除方面具有一定的優(yōu)勢。