可見光與紅外圖像組K-SVD融合方法

王志社，姜曉林，武圓圓，王君堯

可見光與紅外圖像組K-SVD融合方法

王志社，姜曉林，武圓圓，王君堯

（太原科技大學(xué) 應(yīng)用科學(xué)學(xué)院，山西 太原 030024）

傳統(tǒng)稀疏表示融合方法，以圖像塊進(jìn)行字典訓(xùn)練和稀疏分解，由于沒有考慮圖像塊之間的內(nèi)在聯(lián)系，易造成字典原子表征圖像特征能力不足、稀疏系數(shù)不準(zhǔn)確，導(dǎo)致圖像融合效果不好。為此，本文提出可見光與紅外圖像組K-SVD（K-means singular value decomposition）融合方法，利用圖像的非局部相似性，將相似圖像塊構(gòu)造成圖像結(jié)構(gòu)組矩陣，通過組K-SVD進(jìn)行字典訓(xùn)練和稀疏分解，可以有效提高字典原子的表征能力及稀疏系數(shù)的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，該方法在主觀和客觀評價(jià)上都優(yōu)于傳統(tǒng)稀疏融合方法。

圖像融合；非局部相似性；結(jié)構(gòu)組矩陣；組K-SVD

0 引言

紅外成像技術(shù)通過接收目標(biāo)的紅外輻射，將肉眼不可見的紅外輻射能量轉(zhuǎn)化為電信號進(jìn)行成像，可以探測到隱藏目標(biāo)或偽裝目標(biāo)，具有很好的抗干擾能力，可以全天時(shí)全天候工作；可見光成像技術(shù)通過捕捉物體的反射光進(jìn)行成像，可以很好地獲取物體的細(xì)節(jié)信息、顏色信息和紋理特征[1-2]，但易受天氣、光照的影響。因此，可見光與紅外圖像具有較強(qiáng)的互補(bǔ)特性，只有將這兩類圖像信息進(jìn)行融合，綜合兩類圖像的互補(bǔ)信息，才能夠有效提高成像系統(tǒng)的性能[3-4]。

目前，可見光與紅外圖像融合方法大致可以分為多尺度變換融合[5-6]、稀疏表示融合[7-11]、混合模型融合[12-14]、擬態(tài)融合[15]、深度學(xué)習(xí)融合[16-17]等。多尺度變換融合方法采用尺度變換數(shù)學(xué)模型描述圖像特征，采用相應(yīng)的融合規(guī)則進(jìn)行合并，得到最終的融合圖像。由于尺度變換數(shù)學(xué)模型往往對某一類圖像特征敏感，易造成融合圖像信息缺失。稀疏表示融合方法利用字典原子表征圖像特征，通過合并稀疏系數(shù)重構(gòu)得到最終的融合圖像。Yang等[9]首次提出基于稀疏表示的圖像融合算法，隨后，Yu等[10]提出聯(lián)合稀疏融合方法，Liu等[11]提出自適應(yīng)稀疏融合方法，提高了稀疏融合的效果?；旌夏Ｐ腿诤戏椒ú捎枚喾N算法進(jìn)行嵌入、組合，如多尺度稀疏融合[12]、多尺度嵌入融合[13-14]等，混合模型融合方法在一定程度上克服了單一融合方法的局限性。擬態(tài)融合方法[15]是利用可見光與紅外圖像的差異特征，驅(qū)動選擇相應(yīng)的融合算法，為圖像融合方法提供了新的研究思路。深度學(xué)習(xí)融合方法利用神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)圖像特征，獲得了較好的融合效果[16-17]。

稀疏表示在過完備字典上對圖像信號進(jìn)行表示，可以有效表征圖像特征，是目前圖像融合的熱點(diǎn)之一。但傳統(tǒng)稀疏表示圖像融合方法將圖像分割成重疊的塊，字典訓(xùn)練及稀疏分解過程均以圖像塊為單位進(jìn)行，塊與塊之間是相互獨(dú)立的，造成圖像特征不能被準(zhǔn)確提取，融合效果較差[18]。圖像中的局部位置和非局部位置存在相似結(jié)構(gòu)，這種特征被稱為非局部相似性，通過非局部相似性可以建立圖像相似塊之間的聯(lián)系。非局部相似性在圖像去噪、圖像去模糊等方面取得較好效果[19-20]。

可見光與紅外圖像融合就是要將兩類圖像的顯著特征進(jìn)行有效合并，而實(shí)際上，圖像中的顯著特征不僅與局部結(jié)構(gòu)有關(guān)，還與圖像非局部結(jié)構(gòu)有關(guān)。從兩類圖像的成像機(jī)理和成像特點(diǎn)可以看出，可見光圖像具有豐富的結(jié)構(gòu)信息，圖像塊反映了局部的幾何結(jié)構(gòu)，相似的結(jié)構(gòu)在圖像不同位置重復(fù)出現(xiàn)，具有非局部結(jié)構(gòu)相似性。而紅外圖像中，絕大多數(shù)為背景區(qū)域，其灰度變化緩慢，背景區(qū)域的圖像塊之間存在較強(qiáng)相關(guān)性，也具有明顯的非局部結(jié)構(gòu)相似性。為了直觀顯示，如圖1所示，通過計(jì)算圖像結(jié)構(gòu)塊的相似性，在可見光與紅外圖像分別自動選取了7個(gè)圖像相似塊，并進(jìn)行局部放大，可以看出，圖像相似塊具有明顯的非局部相似性，這也說明，可見光與紅外圖像的局部位置及非局部位置上均存在結(jié)構(gòu)相似的圖像塊。因此，通過建立圖像局部結(jié)構(gòu)與非局部結(jié)構(gòu)的內(nèi)在聯(lián)系，將相似的圖像塊構(gòu)建成圖像結(jié)構(gòu)組，以結(jié)構(gòu)組代替?zhèn)鹘y(tǒng)的圖像塊，利用結(jié)構(gòu)組的重復(fù)結(jié)構(gòu)和冗余信息，通過對結(jié)構(gòu)組進(jìn)行字典學(xué)習(xí)和稀疏分解，可以使字典原子和稀疏系數(shù)更有效地描述圖像顯著特征，從而有效解決傳統(tǒng)稀疏表示融合方法存在的問題。

本文針對傳統(tǒng)稀疏表示融合方法字典表征能力不足，稀疏系數(shù)不準(zhǔn)確的問題，通過非局部相似性建立相似圖像塊之間的聯(lián)系，以歐氏距離為度量準(zhǔn)則，依據(jù)圖像的非局部相似性特征將相似圖像塊采用向量化、矩陣化的方式構(gòu)建為結(jié)構(gòu)組矩陣，在此基礎(chǔ)上，構(gòu)建組K-SVD訓(xùn)練模型，以結(jié)構(gòu)組代替?zhèn)鹘y(tǒng)圖像塊，優(yōu)化結(jié)構(gòu)組字典學(xué)習(xí)和稀疏分解問題，將源圖像的相似結(jié)構(gòu)特征與融合過程充分結(jié)合。該方法建立了圖像塊之間的內(nèi)在聯(lián)系，以結(jié)構(gòu)組矩陣為單位進(jìn)行字典訓(xùn)練和稀疏分解，增強(qiáng)了字典原子的表征能力和稀疏系數(shù)的準(zhǔn)確性，提高了圖像的融合性能。

圖1 可見光與紅外圖像非局部相似性示意圖

1 模型構(gòu)建

1.1 結(jié)構(gòu)組矩陣構(gòu)造

結(jié)構(gòu)組矩陣構(gòu)造基于圖像的非局部相似性特征，首先采用滑動窗將源圖分割成大小相同的圖像塊，然后根據(jù)相似性度量準(zhǔn)則，從圖像的確定鄰域內(nèi)提取相似塊，對相似塊采取向量化、矩陣化的方式構(gòu)建成結(jié)構(gòu)組矩陣，用于字典訓(xùn)練和融合過程，具體過程如圖2所示。

1）圖像塊提取

假設(shè)源圖像1、2的大小均為×像素，采用滑動窗，滑動步長為1像素，按照圖中所示的軌跡，自左向右、自上而下進(jìn)行滑動。分別將源圖像分解為大小為×的(－＋1)·(－＋1)個(gè)圖像塊。

2）結(jié)構(gòu)組構(gòu)建

在×的鄰域內(nèi)，以歐式距離作為度量準(zhǔn)側(cè)，計(jì)算每一個(gè)初始圖像塊x最相似的個(gè)圖像塊。將初始圖像塊x與個(gè)相似圖像塊構(gòu)成一個(gè)結(jié)構(gòu)組G，這樣每個(gè)結(jié)構(gòu)組中共有＋1個(gè)圖像塊。對于×的輸入源圖像，共有(－＋1)·(－＋1)個(gè)初始塊，則可以構(gòu)建(－＋1)·(－＋1)個(gè)結(jié)構(gòu)組。

3）圖像塊向量化

圖2 相似結(jié)構(gòu)組矩陣示意圖

1.2 組K-SVD字典訓(xùn)練模型

假設(shè)信號∈R，字典∈R×，當(dāng)大于時(shí)，稱字典為冗余字典。信號可以表示為＝或者≈。∈R為稀疏表示系數(shù)，中的多數(shù)元素為0，只有少數(shù)元素不為0，稱是稀疏的，可以在字典上稀疏表示。因此，稀疏表示就是將信號表示為一個(gè)冗余字典中少數(shù)原子的線性組合。由于實(shí)際應(yīng)用中存在噪聲，當(dāng)考慮噪聲時(shí)，信號在字典上的稀疏表示求解可以表示為：

對于結(jié)構(gòu)組矩陣，在對應(yīng)的字典上的稀疏表示優(yōu)化問題可以表示為如下的形式：

在字典學(xué)習(xí)中，字典更新階段是在系數(shù)矩陣不變的情況下，對字典進(jìn)行更新。可以表示為下面的優(yōu)化問題：

上式中的優(yōu)化問題有一個(gè)封閉解，可以通過單獨(dú)對中的每一列求解，并且在求解過程中，只更新每一列的非零項(xiàng)，值為零的項(xiàng)保持不變，這樣的優(yōu)化問題可以表示為：

上述迭代算法先更新字典，后更新系數(shù)矩陣，可以得到式(3)優(yōu)化問題的近似解。組K-SVD算法對迭代更新過程進(jìn)行了改進(jìn)，結(jié)構(gòu)組矩陣在字典上的稀疏編碼優(yōu)化問題可以表示為：

2 融合方法

可見光與紅外圖像組K-SVD融合方法如圖3所示，具體步驟如下：

圖3 融合方法總體框架

1）圖像塊提取：對于大小為×的輸入源圖像1、2，采用滑動窗技術(shù)，滑動步長為1像素，按照從左到右、自上而下的軌跡遍歷整幅圖像。設(shè)圖像塊大小為×，則可以分別提取源圖像1、2的(－n＋1)·(－＋1)個(gè)圖像塊。

2）結(jié)構(gòu)組矩陣構(gòu)建：對源圖像1，在×的鄰域內(nèi)，以歐式距離為度量準(zhǔn)則，計(jì)算出初始圖像塊的最相似的個(gè)圖像塊，并進(jìn)行塊向量化、結(jié)構(gòu)組矩陣化處理，得到相應(yīng)的結(jié)構(gòu)組矩陣；對源圖像2，每個(gè)初始塊對應(yīng)的相似塊與1相同。

3）訓(xùn)練樣本選取及字典學(xué)習(xí)：從源圖像中隨機(jī)選出個(gè)初始塊作為訓(xùn)練樣本，采用組K-SVD字典訓(xùn)練方法求解源圖像對應(yīng)的字典。

5）稀疏系數(shù)融合：1i()、2i()，＝1, 2, …,＋1為系數(shù)向量，分別為稀疏系數(shù)矩陣1、2的第列。對應(yīng)的稀疏系數(shù)向量采用絕對值取大的規(guī)則進(jìn)行融合：

最終得到融合系數(shù)矩陣Fi。

6）圖像重構(gòu)：將得到的系數(shù)矩陣Fi與字典重構(gòu)得到融合結(jié)構(gòu)組矩陣，對結(jié)構(gòu)組矩陣進(jìn)行逆變換得到融合的圖像塊，之后將每一個(gè)圖像塊放回到對應(yīng)的位置，相同位置像素進(jìn)行均值化，得到最終的融合圖像。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 設(shè)定

為了評價(jià)組K-SVD融合性能，實(shí)驗(yàn)采用4組可見光與紅外圖像，分別為“UNcape”、“Kaptein”、“Dune”和“Road”。對比的融合方法采用3種傳統(tǒng)的稀疏融合方法，分別為稀疏表示融合方法（Sparse Representation, SR）[9]、聯(lián)合稀疏融合方法（Joint Sparse Representation, JSR）[10]和自適應(yīng)稀疏融合方法（Adaptive Sparse Representation, ASR）[11]。評價(jià)指標(biāo)采用0[21]、w[22]、e[22]和ab/f[23]四個(gè)評價(jià)指標(biāo)。0從圖像的亮度、對比度和結(jié)構(gòu)失真度來衡量融合圖像的退化程度，w描述源圖像的顯著信息轉(zhuǎn)移到融合圖像的合并程度，而e和ab/f主要描述源圖像到融合圖像的邊緣信息融合程度。評價(jià)指標(biāo)數(shù)值越大，說明融合效果越好。

組K-SVD融合方法參數(shù)設(shè)定如下：①結(jié)構(gòu)組構(gòu)造模型參數(shù)，圖像塊大小為8×8，滑動窗大小為40×40，滑動步長為1像素。②結(jié)構(gòu)組稀疏模型參數(shù)，訓(xùn)練樣本圖像塊數(shù)量為10000，相似圖像塊個(gè)數(shù)設(shè)定為19，字典大小為64×256，字典原子稀疏度為5。

3.2 結(jié)果分析

4組可見光與紅外圖像的融合結(jié)果如圖4～圖7所示，其中，(a)和(b)分別表示可見光與紅外圖像，(c)、(d)、(e)分別是稀疏表示融合方法、自適應(yīng)稀疏融合方法和聯(lián)合稀疏融合方法得到的融合圖像，(f)是本文方法得到的融合圖像。

圖4為“Nato_camp”的融合實(shí)驗(yàn)結(jié)果。從圖4(a)和(b)可以看出，紅外圖像行人目標(biāo)位置清晰，背景信息（如樹木、道路和房屋等）細(xì)節(jié)不清楚，信息丟失較為嚴(yán)重；而可見光圖像中，道路、樹木和房屋等背景信息清晰，但行人目標(biāo)缺失，可以看出這兩類圖像具有很大的互補(bǔ)性。圖4(c)是SR融合圖像，可以看出，融合圖像的邊緣信息較為模糊，紋理信息缺失嚴(yán)重；圖4(d)是ASR融合圖像，融合圖像較好保留了兩類圖像的主要互補(bǔ)信息，但依然存在圖像邊緣信息模糊，存在一定的偽影現(xiàn)象；圖4(e)是JSR融合圖像，行人目標(biāo)清晰，對比度較高，但融合圖像存在過增強(qiáng)現(xiàn)象，背景信息缺失嚴(yán)重。圖4(f)是本文方法的融合圖像，從結(jié)果可以看出，融合圖像行人目標(biāo)位置、輪廓信息清楚，背景信息如樹木、房屋、道路等保留較好，圖像整體視覺效果好于傳統(tǒng)稀疏融合方法。

圖4 “Nato_camp”圖像融合實(shí)驗(yàn)結(jié)果

圖5為“Kaptein”的融合實(shí)驗(yàn)結(jié)果。圖5(a)和(b)分別是可見光和紅外圖像，圖5(c)、(d)和(e)分別是SR融合圖像、ASR融合圖像和JSR融合圖像。從結(jié)果可以看出，SR融合圖像雖然保留了紅外圖像的目標(biāo)信息，但圖像背景細(xì)節(jié)信息丟失嚴(yán)重，例如地面、樹木等；ASR融合圖像視覺效果好于SR融合圖像，行人目標(biāo)、背景信息較為清楚，但邊緣信息較為模糊；JSR融合圖像行人目標(biāo)的對比度較高，但融合圖像過增強(qiáng)現(xiàn)象嚴(yán)重，如樹木、門窗的邊緣細(xì)節(jié)信息丟失。圖5(f)是本文方法的融合結(jié)果，可以看出，融合圖像包含了兩類圖像的主要互補(bǔ)信息，行人、地面、樹木等細(xì)節(jié)信息清楚，視覺效果較好。

圖6和圖7分別為“Duine”和“Road”的融合實(shí)驗(yàn)結(jié)果。從實(shí)驗(yàn)結(jié)果來看，SR和ASR的融合效果相對較差，JSR融合圖像雖然對比度較高，但細(xì)節(jié)信息丟失嚴(yán)重，本文方法的融合圖像視覺效果較好，圖像中的細(xì)節(jié)信息及邊緣輪廓信息保留完整。從主觀視覺來看，4組實(shí)驗(yàn)結(jié)果評價(jià)結(jié)果一致。

圖5 “Kaptein”圖像融合實(shí)驗(yàn)結(jié)果

圖7 “Road”圖像融合實(shí)驗(yàn)結(jié)果

4組可見光與紅外圖像融合結(jié)果的客觀評價(jià)指標(biāo)如表1～表4所示，表5為客觀評價(jià)指標(biāo)的平均值。從結(jié)果來看，對于“Kaptein”圖像，本文融合方法獲得最好的融合效果；對于“Nato_camp”圖像，本文的融合方法在評價(jià)指標(biāo)w、e和ab/f獲得最優(yōu)的結(jié)果，0指標(biāo)略低于ASR的結(jié)果；對于“Duine”和“Road”圖像，本文的融合方法在評價(jià)指標(biāo)w和e獲得最優(yōu)的結(jié)果，而指標(biāo)0和ab/f低于ASR方法，這說明本文的融合方法在提取顯著特征信息和邊緣信息保留方面效果較好，總體來看，本文的融合方法優(yōu)于傳統(tǒng)的稀疏表示融合方法。

表1 “Nato_camp”圖像融合客觀評價(jià)指標(biāo)

表2 “Kaptein”圖像融合客觀評價(jià)指標(biāo)

表3 “Duine”圖像融合客觀評價(jià)指標(biāo)

表4 “Road”圖像融合客觀評價(jià)指標(biāo)

表5 不同融合方法評價(jià)指標(biāo)的平均值

為了進(jìn)一步對融合效果進(jìn)行評價(jià)，采用兩組名為“Nato_camp”和“Duine”的圖像序列進(jìn)行實(shí)驗(yàn)?！癗ato_camp”圖像序列為同一場景中32幅在時(shí)間上連續(xù)的圖片，“Duine”圖像序列為同一場景中23幅在時(shí)間上連續(xù)的圖片。采用0、w、e和ab/f對融合效果進(jìn)行評價(jià)。將得到的評價(jià)指標(biāo)繪制為曲線圖進(jìn)行對比，具體的繪制方法為：分別將4種融合方法的0值繪制為曲線，并將這4條曲線整合到同一幅圖像中；另外3種評價(jià)指標(biāo)曲線圖的繪制方法與0相同。

圖8和圖9分別為圖像序列“Nato_camp”和“Duine”對應(yīng)的曲線圖。如圖8所示，(a)、(b)、(c)、(d)分別為評價(jià)指標(biāo)0、w、e和ab/f對應(yīng)的曲線圖。每幅圖中，點(diǎn)狀曲線對應(yīng)SR方法的評價(jià)指標(biāo)，圈型曲線對應(yīng)ASR方法，塊狀曲線對應(yīng)JSR方法，叉型曲線對應(yīng)本文提出的方法，右下角為圖像序列不同融合方法對應(yīng)評價(jià)指標(biāo)的平均值。通過兩組分析曲線可知：在圖8中本文方法的0值低于ASR方法，w、e和ab/f值均為最高；在圖9中本文方法的0、w和e值略低于ASR方法，ab/f值為最高。

因此，通過對4組可見光與紅外圖像及兩組圖像序列進(jìn)行融合實(shí)驗(yàn)，結(jié)合主觀視覺效果和客觀評價(jià)指標(biāo)對實(shí)驗(yàn)結(jié)果判斷，本文方法與另外3種方法相比，融合效果最好。

4 結(jié)語

本文提出了可見光與紅外圖像組K-SVD融合方法，利用圖像非局部相似性，以歐式距離為度量準(zhǔn)則，構(gòu)建圖像結(jié)構(gòu)組矩陣，以結(jié)構(gòu)組代替?zhèn)鹘y(tǒng)的圖像塊，在此基礎(chǔ)上，研究了組K-SVD的稀疏分解模型，以結(jié)構(gòu)組矩陣作為訓(xùn)練樣本，構(gòu)建學(xué)習(xí)字典，并進(jìn)行組稀疏分解，采用絕對值取大的合并規(guī)則進(jìn)行合并，得到最終的融合圖像。實(shí)驗(yàn)結(jié)果表明，該方法可以有效提取圖像的顯著特征信息，減少邊緣特征信息丟失，融合圖像視覺效果較好，在主觀和客觀評價(jià)上，都優(yōu)于傳統(tǒng)的稀疏表示融合方法。

圖8 圖像序列“Nato_camp”的客觀評價(jià)指標(biāo)

圖9 圖像序列“Duine”的客觀評價(jià)指標(biāo)

4 結(jié)語

本文提出了可見光與紅外圖像組K-SVD融合方法，利用圖像非局部相似性，以歐式距離為度量準(zhǔn)則，構(gòu)建圖像結(jié)構(gòu)組矩陣，以結(jié)構(gòu)組代替?zhèn)鹘y(tǒng)的圖像塊，在此基礎(chǔ)上，研究了組K-SVD的稀疏分解模型，以結(jié)構(gòu)組矩陣作為訓(xùn)練樣本，構(gòu)建學(xué)習(xí)字典，并進(jìn)行組稀疏分解，采用絕對值取大的合并規(guī)則進(jìn)行合并，得到最終的融合圖像。實(shí)驗(yàn)結(jié)果表明，該方法可以有效提取圖像的顯著特征信息，減少邊緣特征信息丟失，融合圖像視覺效果較好，在主觀和客觀評價(jià)上，都優(yōu)于傳統(tǒng)的稀疏表示融合方法。

[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]., 2019, 45: 153-178.

[2] LI S, KANG X, FANG L, et al. Pixel-level image fusion: a survey of the state of the art[J]., 2017, 33: 100-112.

[3] Elguebaly T, Bouguila N. Finite asymmetric generalized Gaussian mixture models learning for infrared object detection[J]., 2013, 117(12): 1659-1671.

[4] LI H, DING W, CAO X, et al. Image registration and fusion of visible and infrared integrated camera for medium-altitude unmanned aerial vehicle remote sensing[J]., 2017, 9(5): 441.

[5] LI S, YANG B, HU J. Performance comparison of different multi- resolution transforms for image fusion[J]., 2011, 12(2): 74-84.

[6] FU Z, WANG X, XU J, et al. Infrared and visible images fusion based on RPCA and NSCT[J]., 2016, 77: 114-123.

[7] ZHANG Q, LIU Y, Blum R, et al. Sparse representation based multi-sensor image fusion for multi-focus and multi-modality images: a review[J]., 2018, 40: 57-75.

[8] ZHANG Z, XU Y, YANG J, et al. A survey of sparse representation: Algorithms and Applications [J]., 2015(3): 490-530.

[9] YANG B, LI S. Multifocus image fusion and restoration with sparse representation[J]., 2010, 59(4): 884-892.

[10] YU N, QIU T, BI F, et al. Image features extraction and fusion based on joint sparse representation[J]., 2011, 5(5): 1074-1082.

[11] LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]., 2014, 9(5): 347-357.

[12] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-164.

[13] WANG Z, YANG F, PENG Z, et al. Multi-sensor image enhanced fusion algorithm based on NSST and top-hat transformation[J]., 2015, 126(23): 4184-4190.

[14] WANG Z, XU J, JIANG X, et al. Infrared and visible image fusion via hybrid decomposition of NSCT and morphological sequential toggle operator[J]., 2020, 201: 163497.

[15] 楊風(fēng)暴. 紅外偏振與光強(qiáng)圖像的擬態(tài)融合原理和模型研究[J]. 中北大學(xué)學(xué)報(bào): 自然科學(xué)版, 2017, 38(1): 1-7. YANG Fengbao.2017, 38(1): 1-7.

[16] LI H, WU X J. DenseFuse: A Fusion Approach to Infrared and Visible Images[J]., 2019, 28(5): 2614- 2623.

[17] MA J, YU W, LIANG P, et al. Fusion GAN: A generative adversarial network for infrared and visible image fusion[J]., 2019, 48: 11-26.

[18] 姜曉林, 王志社. 可見光與紅外圖像結(jié)構(gòu)組雙稀疏融合方法研究[J]. 紅外技術(shù), 2020, 42(3): 272-278. JIANG Xiaolin, WANG Zhishe. Visible and Infrared Image Fusion Based on Structured Group and Double Sparsity[J]., 2020, 42(3): 272-278.

[19] DONG W, LEI Z, SHI G. Nonlocally centralized sparse representation for image restoration[J]., 2012, 22(4): 1620-1630.

[20] ZHANG J, ZHAO D, GAO W. Group-based sparse representation for image restoration[J]., 2014, 23(8): 3336-3351.

[21] WANG Z, Bovik A, A universal image quality index[J].. 2002, 9(3): 81–84.

[22] Piella G, Heijmans H. A new quality metric for image fusion[C]//10th, 2003: 173-176.

[23] Xydeas C.S, Petrovic V, Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

Visible and Infrared Image Fusion Based on Group K-SVD

WANG Zhishe，JIANG Xiaolin，WU Yuanyuan，WANG Junyao

(School of Applied Science, Taiyuan University of Science and Technology, Taiyuan 030024, China)

In the traditional image fusion method based on sparse representation, image blocks are used as units for dictionary training and sparse decomposition. The representation ability of dictionary atoms for image features is insufficient if the internal connection between the image blocks is not considered. Moreover, the sparse coefficients are inaccurate. Therefore, a fused image is not desirable. In view of the abovementioned problem, this paper proposes a fusion method based on the group K-means singular value decomposition (K-SVD) for visible and infrared images. Considering the image non-local similarity, this method constructs a structure group matrix using similar image blocks, and then, dictionary training and sparse decomposition are performed in the units of the structure group matrix by group K-SVD. Thus, this method can effectively improve the representation ability of dictionary atoms and the accuracy of the sparse coefficients.The experimental results show that this method is superior to the traditional sparse fusion method in terms of subjective and objective evaluation.

image fusion, non-local similarity, structure group matrix, group K-SVD

TP391.4

A

1001-8891(2021)05-0455-09

2020-08-20；

2020-10-24.

王志社（1982-）男，副教授，博士，研究方向?yàn)榧t外圖像處理、機(jī)器學(xué)習(xí)和信息融合。E-mail：wangzs@tyust.edu.cn。

山西省面上自然基金項(xiàng)目（201901D111260）；信息探測與處理山西省重點(diǎn)實(shí)驗(yàn)室開放研究基金（ISTP2020-4）；山西省“1331”工程重點(diǎn)創(chuàng)新團(tuán)隊(duì)建設(shè)計(jì)劃資助（2019 3-3）；太原科技大學(xué)博士啟動基金（20162004）。