基于全局稀疏梯度與低秩張量正則化的多源多波段圖像融合方法?

黃志忠潘 漢

(1.桂林航天工業(yè)學(xué)院電子信息與自動(dòng)化學(xué)院，廣西 桂林541004；2.上海交通大學(xué)航空航天學(xué)院，上海200240)

隨著星載傳感器技術(shù)的發(fā)展，高光譜、多光譜、可見光和紅外等傳感器得到了廣泛應(yīng)用。然而，高光譜具有較高的光譜分辨率但是空間分辨率較低。多光譜圖像具較高的空間分辨率，然而光譜分辨率相對(duì)較低。全色圖像具有比較高的圖像空間分辨率。多模圖像融合通過集成多模敏感器的細(xì)節(jié)信息，可以綜合成高質(zhì)量的圖像，提高圖像信息的利用率，可為后續(xù)的目標(biāo)檢測(cè)與識(shí)別提供技術(shù)支撐[1－2]。

國(guó)內(nèi)外針對(duì)圖像融合問題已經(jīng)提出許多算法[3－5]。相對(duì)于融合類型來說，目前主要有高光譜與多光譜圖像融合、高光譜與全色圖像融合，以及多時(shí)相圖像融合等。然而，常用的圖像融合方法只能融合兩個(gè)模態(tài)傳感器的信息。與此同時(shí)，如果設(shè)計(jì)一個(gè)具有較好融合性能的正則化方法仍是一個(gè)比較重要問題。

目前，一種比較好的正則化方法是變分正則化方法[6]。該方法的成功之處在于可以保留圖像中的邊緣信息，但是會(huì)對(duì)圖像紋理過平滑，也就是階梯效應(yīng)。雖然，文獻(xiàn)[3]提出了一種基于黎曼流形優(yōu)化的多源多波段圖像融合方法。但是，多模圖像空間信息與頻譜信息的高階相關(guān)性及其內(nèi)在結(jié)構(gòu)特性還沒有得到充分的利用。

針對(duì)上述問題，本文基于圖像域的非局部自相似框架，引入復(fù)合正則化方法，提出了基于全局稀疏梯度與低秩張量正則化的多模圖像融合方法，并應(yīng)用于多源多波段圖像融合，也就是高

光譜、多光譜與全色圖像的融合。

本文的主要工作歸納如下①研究了一種基于全局稀疏梯度與低秩張量正則化的多源多波段圖像融合模型，并給出相應(yīng)的優(yōu)化求解方法；其中，多源多波段圖像的頻譜信息使用全局稀疏梯度正則化方法，空間信息使用低秩張量正則化方法。②應(yīng)用于多源多波段圖像融合，實(shí)現(xiàn)高光譜、多光譜與全色圖像的融合。仿真實(shí)驗(yàn)驗(yàn)證了該方法的可行性和有效性。

本文的主要結(jié)構(gòu)如下:第1節(jié)給出了多源多波段圖像觀測(cè)模型，然后推導(dǎo)了基于全局稀疏梯度與低秩張量正則化的多源多波段圖像融合模型。第2節(jié)給出求解該模型的交替方向乘子法。第3節(jié)對(duì)所提方法進(jìn)行驗(yàn)證，并給出與其他方法的對(duì)比結(jié)果。

1 多源多波段圖像融合問題建模

1.1 多源多波段圖像觀測(cè)模型

本文使用文獻(xiàn)[3]中的觀測(cè)模型。本文使用Z∈RL×N表示高光譜圖像，L用于表示光譜波段數(shù)，N用于圖像相應(yīng)的像素個(gè)數(shù)。

式中:Rk是光學(xué)傳感器產(chǎn)生的譜響應(yīng)，其對(duì)應(yīng)的觀測(cè)值是Om；Bm∈RN×N是與波段相對(duì)應(yīng)的點(diǎn)擴(kuò)散函數(shù)，也就是空間模糊矩陣。Sm是一個(gè)滿足STmSm＝IN的稀疏矩陣。Pm是加性擾動(dòng)矩陣，代表著與成像傳感器相關(guān)的噪聲。

1.2 基于全局稀疏梯度與低秩張量正則化的多源多波段圖像融合模型

本小節(jié)引入復(fù)合正則化方法，考慮多模圖像的全局稀疏梯度正則化方法，以及低秩張量正則化方法，給出基于全局稀疏梯度與低秩張量正則化的多源多波段圖像融合模型。本文使用線性混合模型[7](Linear mixture model)表征觀測(cè)場(chǎng)景中的成像數(shù)據(jù)。給定的端元數(shù)目記為Q，且滿足Q?L，將Q個(gè)端元構(gòu)建為E∈RL×Q的列，那么可將Z分解為:

式中:A∈RQ×N是端元豐度矩陣，P是相應(yīng)的加性擾動(dòng)矩陣。

將式(2)代入(1)，我們可以得到:

為實(shí)現(xiàn)任意空間分辨率和光譜分辨率情況下的多源多波段圖像的融合，本文使用下面的多種正則化方法:①對(duì)A施加非負(fù)及系數(shù)和為1的約束，也就是A≥0且1TQA＝1TN；②對(duì)A使用全局稀疏梯度正則化方法，也就是‖?cA‖p；其中，?c代表著沿著光譜方向的全局稀疏梯度正則化方法；此外，0

最后，本文給出基于全局稀疏梯度與低秩張量正則化的多源多波段圖像融合模型:

式中:α>0和β>0分別是相應(yīng)正則化項(xiàng)的非負(fù)正則化參數(shù)。

2 基于全局稀疏梯度與低秩張量正則化的多源多波段圖像融合

2.1 交替最小化框架

本文使用交替方向乘子法(Alternating direction method of multipliers，ADMM)求解問題(3)。其中主要思想是變量分離策略，也就是引入輔助變量Um∈RQ×N(m＝1，2，…，M)、V、W，以及K。在此基礎(chǔ)上，考慮A具有非負(fù)且系數(shù)和為1的約束，引入下面的示性函數(shù):

2.2 求解子問題

本文提出的算法流程，如表1所示。

表1 基于全局稀疏梯度與低秩張量正則化的多源多波段圖像融合算法流程

3 實(shí)驗(yàn)結(jié)果與討論

3.1 數(shù)據(jù)集及仿真實(shí)驗(yàn)參數(shù)

為了驗(yàn)證本文算法的有效性，我們考慮全色圖像、多光譜圖像和高光譜圖像，通過數(shù)值仿真的方式評(píng)估融合性能。本文的仿真實(shí)驗(yàn)使用二個(gè)遙感數(shù)據(jù)集:Botswana(400×240×145)、Washington DC Mall(400×300×191)，以及Indian Pines(400×400×200)。其中，400×240×145代表著遙感數(shù)據(jù)集的空間分辨率是400×240，波段數(shù)是145。本文的所有仿真實(shí)驗(yàn)及算法運(yùn)行環(huán)境是基于Intel CPU i7－9750H 2.6 GHz和8 GB內(nèi)存的筆記本電腦。所有的算法使用MATLAB語言編程。

基于上述的遙感數(shù)據(jù)，為了生成高光譜圖像，本文對(duì)所輸入的圖像二維高斯模糊核(13×13，方差＝2.12)進(jìn)行卷積操作，然后對(duì)所產(chǎn)生的圖像以4的比率進(jìn)行下采樣。為了生成多光譜圖像，本文首先將二維高斯模糊核(7×7，方差＝1.06)應(yīng)用于輸入的圖像數(shù)據(jù)集，以2的比率進(jìn)行下采樣，最后使用Landsat 8多光譜傳感器的光譜響應(yīng)特性進(jìn)行圖像降質(zhì)。另外，本文對(duì)所生成的圖像加入高斯噪聲，并使得所產(chǎn)生的多光譜和高光譜圖像的信噪比分別是30 dB。與此同時(shí)，全色圖像的信噪比設(shè)置為40 dB。

已有的多波段圖像融合算法僅能實(shí)現(xiàn)對(duì)兩個(gè)傳感器的圖像融合，例如多光譜圖像與高光譜圖像融合、全色圖像與多光譜圖像融合等。為了進(jìn)行對(duì)比分析，本文使用相關(guān)的融合算法實(shí)驗(yàn)三個(gè)傳感器圖像的融合。首先，本文使用二種多光譜圖像與全色圖像融合算法:①基于局部參數(shù)估計(jì)的波段相關(guān)空間細(xì)節(jié)算法[11](Band-dependent spatial detail，BD)；②基于高通調(diào)制的調(diào)制傳輸函數(shù)廣義拉普拉斯金字塔算法[12](Modulation-transfer-function generalized Laplacian pyramid，MT)。

本文使用兩種算法進(jìn)行多光譜圖像與高光譜圖像的融合:①基于全變分正則化及子空間的融合方法[6](Total variation，TV)；②基于Sylvester方程的快速融合方法[13](Fast fusion based Sylvester equation，F(xiàn)USE)。

為了評(píng)估算法的融合性能，本文使用常用的三種評(píng)估指標(biāo):①相對(duì)無量綱全局誤差指標(biāo)[14](ERGAS)；②波譜角[15](spectral angle mapper，SAM)；③廣義通用圖像質(zhì)量指標(biāo)[16](Generalization of the universal image quality index，GUIQI)。其中，ERGAS和SAM的值越小，代表著融合性能越好。與此同時(shí)，GUIQI的值越大越好。

3.2 實(shí)驗(yàn)結(jié)果

表2~表4分別給出了多個(gè)算法在高光譜數(shù)據(jù)集Botswana、Washington DC Mall與Indian Pines的融合性能評(píng)估結(jié)果。其中，較好的融合結(jié)果使用粗體表示。此外，P＋H用于表示全色圖像與高光譜圖像的融合方式。(P＋M)＋H代表著先進(jìn)行多光譜圖像與全色圖像的融合，然后再與高光譜融合的方式。P＋(M＋H)代表著先進(jìn)行多光譜圖像與高光譜圖像的融合，然后再與全色圖像融合。P＋M＋H表示同時(shí)進(jìn)行多光譜圖像、高光譜圖像、全色圖像的融合方式。

觀察表2~表4中的融合性能評(píng)估結(jié)果，我們可以發(fā)現(xiàn)本文所提出的算法具有較好的融合性能。通過對(duì)比，我們可以發(fā)現(xiàn)不同的融合算法具有不同的多源多波段圖像融合與圖像細(xì)節(jié)的建模及挖掘能力。最后，基于融合性能指標(biāo)ERGAS、SAM和GUIQI的定義，本文所提出的算法可以融合較多的局部細(xì)節(jié)信息。

表2 基于Botswana數(shù)據(jù)集的多源多波段圖像融合性能定量分析結(jié)果

表3 基于Washington DC Mall數(shù)據(jù)集的多源多波段圖像融合性能定量分析結(jié)果

表4 基于Indian Pines數(shù)據(jù)集的多源多波段圖像融合性能定量分析結(jié)果

為了在視覺上進(jìn)行融合質(zhì)量評(píng)估，本文給出了Botswana與Indian Pines數(shù)據(jù)集的多源多波段圖像融合結(jié)果(Washington DC Mall數(shù)據(jù)集與Botswana數(shù)據(jù)集的處理視覺效果基本相同)，如圖1和圖2所示。其中，高光譜圖像的信噪比是30 dB；多光譜圖像的信噪比是30 dB；全色圖像的信噪比是40 dB。其中，P＋H代表著全色圖像與高光譜圖像的融合；(P＋M)＋H代表著先融合全色圖像與多光譜圖像，然后再與高光譜進(jìn)行融合；P＋(M＋H)代表著先融合多光譜與高光譜圖像，然后與全色圖像進(jìn)行融合。

圖1(d)和圖2(d)給出了本文提出算法的融合結(jié)果。其中，圖1(d)所顯示的融合結(jié)果包含有波段(32 26 6)；圖2(d)所顯示的融合結(jié)果包含有波段(30 22 3)。從中我們可以看到，本文提出的算法具有較好的融合效果，細(xì)節(jié)信息比較多。這些視覺上的融合效果驗(yàn)證了本文提出的算法的有效性。

圖1 基于Botswana數(shù)據(jù)集的多源多波段圖像融合視覺結(jié)果對(duì)比分析

圖2 基于Indian Pines數(shù)據(jù)集的多源多波段圖像融合視覺結(jié)果對(duì)比分析

為了對(duì)不同融合算法的時(shí)間復(fù)雜度進(jìn)行定量分析，本文在同等條件下，通過測(cè)量算法運(yùn)行時(shí)間的方式，進(jìn)行性能評(píng)估，對(duì)基于Indian Pines數(shù)據(jù)集的處理比較(對(duì)Botswana和Washington DC Mall數(shù)據(jù)集處理具有相同比例的效果，因?yàn)樗惴ㄏ嗤皇菙?shù)據(jù)不同而已)如表5所示。其中，運(yùn)行時(shí)間較少的算法是FUSE算法。但是，結(jié)合之前的性能評(píng)估結(jié)果，我們可以看到所提出的算法只增加了一些計(jì)算時(shí)間，但是具有較好的融合性能。

表5 基于Indian Pines數(shù)據(jù)集的算法運(yùn)行時(shí)間對(duì)比單位:s

4 結(jié)論

本文針對(duì)多源多波段圖像融合問題，引入復(fù)合正則化方法，提出了一種基于全局稀疏梯度與低秩張量正則化的多源多波段圖像融合模型。該正則化方法包含有全局稀疏梯度正則項(xiàng)與低秩張量正則項(xiàng)。本文采用基于ADMM優(yōu)化框架求解融合模型。本文所提出的方法可以實(shí)現(xiàn)了三種視覺傳感器圖像的同時(shí)融合。仿真實(shí)驗(yàn)及融合性能評(píng)估結(jié)果驗(yàn)證了本文所提出算法的有效性。本文的理論與技術(shù)成果為基于多傳感器融合的目標(biāo)檢測(cè)與識(shí)別提供理論與技術(shù)基礎(chǔ)。