基于細(xì)節(jié)關(guān)注的高光譜與多光譜圖像融合算法

方帥， 閆明暢， 張晶， 曹洋

1. 合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院, 合肥 230601;

2. 工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室, 合肥 230000;

3. 中國科學(xué)技術(shù)大學(xué) 自動(dòng)化系, 合肥 230027

1 引 言

高光譜圖像HSI（Hyperspectral Image）與多光譜圖像MSI（Multispectral Image）是在遙感領(lǐng)域廣泛使用的兩種圖像，它們?cè)诃h(huán)境監(jiān)測、目標(biāo)檢測、礦產(chǎn)勘探等應(yīng)用中發(fā)揮著重要作用（Lorente 等，2012；張兵，2016；Yokoya 等，2017；徐冠華 等，2016）。HSI 包含大量的光譜信息，為了保證足夠高的信噪比，通常在更大的空間區(qū)域中進(jìn)行光子收集。因此，與MSI 相比，HSI 空間分辨率要低得多。這種低空間分辨率極大影響了HSI 的實(shí)用性。因此，把低空間分辨率的HIS，即LR-HSI（Lowresolution HSI）與同一場景下的高空間分辨率的HR-MSI（High-resolution MSI）融合以獲得高空間分辨率的高光譜圖像HR-HSI（High-resolution HSI）是解決此類問題的一種方法（Dian 等，2017）。

早期LR-HSI 和HR-MSI 融合方法是從Pansharpening（Alparone 等，2007）發(fā)展而來，而全色圖像不包含光譜信息，這類方法的融合結(jié)果存在較大光譜畸變；接著貝葉斯框架下的融合算法（Hardie 等，2004；Wei 等，2014）被提出，此方法引入先驗(yàn)知識(shí)降低問題復(fù)雜度，再通過最大后驗(yàn)概率實(shí)現(xiàn)對(duì)問題的求解；另外，假設(shè)HSI的光譜像素存在于低維子空間，并通過提取圖像光譜特征和求解系數(shù)來重建HR-HSI的一系列低維模型方法被提出。近年來，由于深度卷積神經(jīng)網(wǎng)絡(luò)在圖像特征表示的突出表現(xiàn)，基于深度學(xué)習(xí)的解決融合問題的算法（Palsson 等，2017；Yang 等，2018）被提出。

以上介紹中，基于低維子空間的融合方法得到廣泛的研究（李樹濤 等，2021），又可細(xì)分為基于解混的方法、基于字典學(xué)習(xí)的方法和基于張量分解的方法?；诮饣斓姆椒ɡ枚嗽仃嚺c豐度矩陣的乘積表示HR-HSI（張兵，2016）；Yokoya 等（2012）提出了耦合非負(fù)矩陣分解CNMF（Coupled Nonnegative Matrix Factorization）融合方法，但由于非負(fù)矩陣分解的代價(jià)函數(shù)是非凸的，所以導(dǎo)致融合結(jié)果不穩(wěn)定；Lin 等（2018）和Sim?es 等（2015）在此類融合框架下增加正則項(xiàng)，將非凸問題轉(zhuǎn)化為凸問題求解，解決了求解結(jié)果不穩(wěn)定的缺點(diǎn)。但是，解混得到的初始化端元矩陣對(duì)融合結(jié)果的穩(wěn)定性依然有影響。為了避免端元變異性對(duì)局部區(qū)域的影響進(jìn)而導(dǎo)致融合結(jié)果不穩(wěn)定的情況，Wu 等（2020）提出了低秩矩陣估計(jì)算法，在全局和局部的低秩光譜—空間數(shù)據(jù)結(jié)構(gòu)中，建立了算法解決方案，但是該方法沒有充分利用HRHSI的先驗(yàn)信息。

基于字典學(xué)習(xí)（Dong 等，2011；Li 等，2014）的融合方法利用光譜字典與稀疏的系數(shù)矩陣的乘積表示HR-HSI。NSSR（Non-Negative Structured Sparse Representation）（Dong 等，2016）提出了基于聚類的非負(fù)結(jié)構(gòu)稀疏表示框架，該框架利用空間相關(guān)性和譜相關(guān)性，將估計(jì)得到的系數(shù)矩陣與光譜字典結(jié)合起來重建高光譜圖像；SSCSR（Self-similarity Constrained Sparse Representation）（Han 等，2018）基于HR-MSI的全局結(jié)構(gòu)自相似性與局部光譜自相似性，提出了稀疏表示的相似性約束；LRSR（Lowrank Sparse Representations）（Dian 等，2018）提出空間意義上的局部低秩約束。以上這3種算法是較為典型的基于字典學(xué)習(xí)的融合算法，主要利用先驗(yàn)信息設(shè)計(jì)正則項(xiàng)，對(duì)系數(shù)估計(jì)進(jìn)行改進(jìn)。由于遙感圖像鄰近效應(yīng)作用，尤其圖像邊緣部分多種目標(biāo)混雜導(dǎo)致光譜信息非常復(fù)雜，現(xiàn)有構(gòu)建字典方法忽略了這一問題，進(jìn)而影響融合結(jié)果；其次，在字典確定的情況下，如何更好地重建空間細(xì)節(jié)，也是需要解決的問題。

基于張量的方法用一個(gè)核心張量和3個(gè)模方向的字典乘積表示HR-HSI，是基于矩陣分解的提高版。由于3D 張量與高光譜圖像表現(xiàn)形式上的一致性，近年來，張量分解被用于高光譜與多光譜融合（Dian 等，2017和2020；Kanatsoulis 等，2018）。Dian 等（2017）首先提出非局部空間自相似性稀疏張量分解的融合算法，針對(duì)各簇相似塊分別學(xué)習(xí)3個(gè)模態(tài)的字典，并通過對(duì)所學(xué)習(xí)的字典進(jìn)行稀疏編碼來估算核心張量，從而實(shí)現(xiàn)HR-HSI 的重建。此方法產(chǎn)生了良好的融合結(jié)果，但有很多問題需要考慮，比如將2D 空間信息割裂為x模態(tài)和y模態(tài)分別表示是否合適、利用高斯核進(jìn)行字典下采樣是否合適等?；趶埩糠纸馊诤纤惴ㄗ鳛橐活愋碌姆椒?，為解決此類問題提供了新思路。

從算法的融合效果上分析，現(xiàn)有算法的空間與光譜重建誤差都主要體現(xiàn)在圖像的邊緣和細(xì)節(jié)區(qū)域（孟祥超 等，2020；Dong 等，2016）。在空間特性上，紋理、輪廓、邊緣等細(xì)節(jié)區(qū)域不夠準(zhǔn)確；在光譜特性上，圖像平坦區(qū)域光譜特性較為穩(wěn)定，而細(xì)節(jié)區(qū)域由于圖像的鄰近效應(yīng)，其光譜表現(xiàn)為復(fù)雜性和多樣性，現(xiàn)有算法一般難以精確表示。本文提出了基于細(xì)節(jié)關(guān)注的字典構(gòu)建和圖像重建的融合算法，從兩個(gè)方面給出了相應(yīng)的解決策略：

第一，提出了分層字典學(xué)習(xí)策略，構(gòu)建具有更多光譜特征字典集。為了表達(dá)LR-HSI 復(fù)雜多樣的光譜特性，將字典學(xué)習(xí)分成圖像層和細(xì)節(jié)層。圖像層基于光譜相似性對(duì)圖像進(jìn)行聚類，具有相似光譜的像素簇共享字典；細(xì)節(jié)層對(duì)圖像細(xì)節(jié)邊緣區(qū)域?qū)W習(xí)字典。兩層字典組合成光譜字典，為重構(gòu)圖像的光譜特性保持提供了基礎(chǔ)和保障。

第二，提出了細(xì)節(jié)感知誤差項(xiàng)和方向自適應(yīng)全變分EADTV（Edge Adaptive Directional Total Variation）（Zhang 和Wang，2013）約束，從而求解出更加精確的系數(shù)，實(shí)現(xiàn)高精度圖像重建。為了保持重建圖像的空間結(jié)構(gòu)和光譜信息，本文更加關(guān)注細(xì)節(jié)感知損失。對(duì)于細(xì)節(jié)邊緣區(qū)域，利用EADTV 計(jì)算最小邊緣方向圖像梯度，將其轉(zhuǎn)化為對(duì)系數(shù)的約束，從而實(shí)現(xiàn)了對(duì)邊緣細(xì)節(jié)的精準(zhǔn)表示。

本文算法整體上與基于字典學(xué)習(xí)的方法框架一致，主要從光譜字典學(xué)習(xí)和系數(shù)估計(jì)兩方面進(jìn)行改進(jìn)，減小了融合圖像邊緣部分的空間誤差和光譜誤差。

2 融合算法

融合算法的目標(biāo)是估計(jì)HR-HSI。LR-HSI、HR-MSI 以 及HR-HSI 分 別 用X∈RL×n、Y∈Rl×N和Z∈RL×N表示，其中L和l（L>l）表示圖像的波段數(shù)，N和n（N>n）表示圖像的像素點(diǎn)數(shù)目，則X和Y可以表示為Z的線性變換：

式中，矩陣B∈RN×N是點(diǎn)擴(kuò)散函數(shù)，表示Z空間分辨率中高光譜傳感器的點(diǎn)擴(kuò)展函數(shù)，M∈RN×n是一個(gè)下采樣矩陣，R∈Rl×L表示Z映射到Y(jié)的光譜響應(yīng)函數(shù)。對(duì)于給定的X和Y，可以最小化以下誤差來估計(jì)Z：

式 中，E∈RL×K是 光 譜 字 典，A=[a1，a2，…，aN]∈RK×N是對(duì)應(yīng)的稀疏系數(shù)矩陣。再考慮低秩性，式（3）可以寫為

本文的目標(biāo)是求解更加精確的光譜字典E和系數(shù)矩陣A，從而獲得精確穩(wěn)定的融合結(jié)果。

如圖1所示，本文算法主要包括兩個(gè)模塊：字典構(gòu)造和系數(shù)估計(jì)模塊。字典構(gòu)建模塊進(jìn)行分層字典學(xué)習(xí)，包括基于聚類的分類字典學(xué)習(xí)和基于細(xì)節(jié)感知的字典學(xué)習(xí)。基于聚類的分類字典對(duì)圖像進(jìn)行聚類，相似的光譜被聚集為一簇且共享一個(gè)字典；基于細(xì)節(jié)層感知的字典，通過細(xì)節(jié)層感知損失保障字典對(duì)于復(fù)雜細(xì)節(jié)區(qū)域的表示能力。系數(shù)估計(jì)的優(yōu)勢主要體現(xiàn)在目標(biāo)函數(shù)的構(gòu)造，基于細(xì)節(jié)感知的誤差項(xiàng)和方向自適應(yīng)全變分正則項(xiàng)的構(gòu)造，保證求解系數(shù)矩陣A的精確度，實(shí)現(xiàn)高質(zhì)量HR-HSI重建。

圖1 本文算法流程圖Fig. 1 Flow chart of the proposed method

2.1 光譜字典學(xué)習(xí)

本文學(xué)習(xí)了基于聚類的圖像層字典E1和基于分層的細(xì)節(jié)層字典E2，組合成為光譜字典E=[E1，E2]，即分層字典學(xué)習(xí)算法，保證字典E具有更強(qiáng)的光譜特征表達(dá)能力。首先，建立基于聚類的字典。HSI 具有大量光譜特征相似的地物目標(biāo)，依據(jù)光譜特性采用K-means 對(duì)LR-HSI 進(jìn)行聚類，再針對(duì)每類學(xué)習(xí)光譜字典，保障字典對(duì)各類目標(biāo)都具有可靠的表達(dá)能力，如圖1圖像層所示。下面處理是對(duì)每一類分別進(jìn)行，以第i類為例展示字典學(xué)習(xí)過程。第i類的目標(biāo)函數(shù)為：

其次，建立細(xì)節(jié)感知模塊來獲取細(xì)節(jié)字典，保障光譜字典在細(xì)節(jié)區(qū)域的表示能力。如圖1細(xì)節(jié)層所示，將HR-MSI 用主成分分析法降維，從前3 個(gè)主成分中獲取邊緣細(xì)節(jié)并進(jìn)行膨脹處理，確定細(xì)節(jié)區(qū)域，然后進(jìn)行下采樣映射得到LR-HSI 的邊緣細(xì)節(jié)區(qū)域。對(duì)細(xì)節(jié)區(qū)域進(jìn)行字典學(xué)習(xí)獲得光譜字典E2。細(xì)節(jié)層的目標(biāo)函數(shù)為

式中，A?d是LR-HSI 細(xì)節(jié)區(qū)域的稀疏系數(shù)，K2表示字典原子數(shù)。

本文采用與文獻(xiàn)（Dong 等，2016）相同的方法進(jìn)行字典學(xué)習(xí)，由基于分類的圖像層字典和基于邊緣關(guān)注的細(xì)節(jié)層字典得到最終的光譜字典E，E的原子數(shù)為K。為了驗(yàn)證本文分層字典的有效性，分別建立圖像字典和分層字典，并分別用這兩種字典重構(gòu)LR-HSI。圖2（a）是圖像字典重構(gòu)的LR-HSI 圖像與LR-HSI 原圖之間的光譜角映射SAM（Spectral Angle Mapper）；圖2（b）是上述分層字典重構(gòu)LR-HSI 圖像與LR-HSI 原圖之間的SAM。對(duì)比可以發(fā)現(xiàn)，分層字典學(xué)習(xí)算法在光譜信息的保持方面有明顯的優(yōu)勢，尤其在邊緣區(qū)域表現(xiàn)更為突出。字典學(xué)習(xí)的算法復(fù)雜度為O（IJ（K2n+K2+KLn）），I、J為迭代次數(shù)。

圖2 SAM圖Fig. 2 SAM map

2.2 系數(shù)矩陣估計(jì)

設(shè)計(jì)系數(shù)矩陣估計(jì)目標(biāo)函數(shù)時(shí)，本文仍然關(guān)注細(xì)節(jié)區(qū)域的重構(gòu)。

首先，提出細(xì)節(jié)感知誤差項(xiàng)。在分層字典學(xué)習(xí)中，本文提取了HR-MSI細(xì)節(jié)邊緣區(qū)域。在設(shè)計(jì)目標(biāo)函數(shù)時(shí)，本文更加關(guān)注細(xì)節(jié)邊緣區(qū)域的誤差，所以將式（5）的第二項(xiàng)改用ω1和ω2控制相對(duì)權(quán)重的細(xì)節(jié)邊緣區(qū)域和非細(xì)節(jié)邊緣區(qū)域誤差，ω1>ω2。

其次，提出了邊緣方向自適應(yīng)全變分正則項(xiàng)EADTV（Edge Adaptive Directional Total Variation）。為了更加精確描述邊緣，構(gòu)建EADTV約束。EADTV沿邊緣方向梯度最小，對(duì)細(xì)節(jié)變化更加敏感。EADTV 在DTV（Bayram 和Kamasak，2012）基礎(chǔ)上引入圖

像Z的邊緣方向參數(shù)θ(x，y)，圖像Z邊緣方向可由以下公式表示：

式中，zx、zy是z(x，y)的梯度向量，此方法對(duì)于圖像細(xì)節(jié)邊緣部分的保持有顯著的效果，在字典E固定的情況下，轉(zhuǎn)換為對(duì)系數(shù)的約束，TVβ，θ(x，y)(Z)可改寫為TVβ，θ(x，y)(A)。

式中，Yd表示圖像的細(xì)節(jié)邊緣區(qū)域，Y-d是除細(xì)節(jié)邊緣以外的區(qū)域。ω1，ω2，α，γ是控制各項(xiàng)相對(duì)重要性參數(shù)?？梢杂肧ALSA 算法（Afonso 等，2011）求解式（11）得到系數(shù)A，每次迭代的算法復(fù)雜度為O（KNlogN），融合結(jié)果Z由光譜字典E與A相乘得到。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證本文基于細(xì)節(jié)關(guān)注的高光譜與多光譜圖像融合算法的有效性，設(shè)計(jì)以下實(shí)驗(yàn)：

（1）為了驗(yàn)證本文細(xì)節(jié)感知誤差項(xiàng)的有效性，在保證字典和其他正則項(xiàng)相同的基礎(chǔ)上，對(duì)比有無細(xì)節(jié)感知誤差項(xiàng)的目標(biāo)函數(shù)估計(jì)系數(shù)對(duì)融合結(jié)果的影響。

（2）為了驗(yàn)證本文分層字典的有效性，分別建立圖像字典和分層字典，利用相同的系數(shù)求解算法，比較他們的融合結(jié)果。

（3）為了驗(yàn)證本文提出的EADTV 正則項(xiàng)的有效性，采用相同的方式獲取字典，即基于分層字典學(xué)習(xí)算法，對(duì)比有無EADTV 正則項(xiàng)的目標(biāo)函數(shù)估計(jì)系數(shù)對(duì)融合結(jié)果的影響。

（4）為了驗(yàn)證算法的整體有效性，選擇5種基于低維子空間的優(yōu)秀算法與本文算法進(jìn)行對(duì)比，分別是CNMF（Yokoya 等，2012）、Hysure（Hyperspectral Superresolution）（Sim?es 等，2015）、NSSR（Dong 等，2016）、SSCSR（Han 等，2018）和LRSR（Dian 等，2018）。CNMF 和Hysure 利用頂點(diǎn)成分分析算法VCA（Vertex Component Analysis）獲取端元矩陣，其中CNMF用非負(fù)矩陣分解以迭代的方式求解端元和豐度矩陣，Hysure 用向量全變分正則項(xiàng)求解HR-HSI 的豐度矩陣。NSSR、SSCSR、LRSR 均使用傳統(tǒng)圖像字典學(xué)習(xí)方法獲取光譜字典，再分別通過非局部稀疏、全局結(jié)構(gòu)自相似性與局部光譜自相似性、空間局部低秩稀疏來估計(jì)系數(shù)。

3.2 實(shí)驗(yàn)數(shù)據(jù)與參數(shù)設(shè)置

本文算法對(duì)于同一場景下，且沒有發(fā)生地物變化的HR-MSI 與LR-HSI 均適用。本文選擇兩個(gè)具有代表性的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)：

（1）Pavia University 數(shù)據(jù)集。Pavia University數(shù)據(jù)集由反射光學(xué)系統(tǒng)成像光譜儀（ROSIS）光學(xué)傳感器獲取。圖像大小為610×340，波段數(shù)為115，空間分辨率為1.3 m，光譜覆蓋范圍為0.43—0.86 μm。在去除水蒸氣吸收波段后，剩下93 個(gè)波段。本文取N=128×128，L=93 大小的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，類IKONOS的反射光譜響應(yīng)濾波器用于生成尺寸為128×128，波段數(shù)為4 的HR-MSI，HR-HSI 經(jīng)點(diǎn)擴(kuò)散函數(shù)下采樣四倍獲得LR-HSI。

（2）Indian Pines數(shù)據(jù)集。Indian Pine數(shù)據(jù)集由AVIRIS 傳感器于1992 年在美國印第安納州拍攝。圖像的空間分辨率為20 m，具有224 個(gè)光譜波段，光譜覆蓋范圍在0.4—2.5 μm。本文中取N=120×120，L=224大小的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。對(duì)應(yīng)的HR-MSI數(shù)據(jù)由HR-HSI 根據(jù)Landsat-7 傳感器的光譜響應(yīng)函數(shù)合成，HR-HSI 經(jīng)點(diǎn)擴(kuò)散函數(shù)下采樣6 倍獲得LR-HSI。

本文提出的算法參數(shù)選擇為ω1=2，ω2=1，α=1.5×10-3，γ=4×10-2，超像素塊數(shù)T由SLIC 算法得到其中Sw=15，ws=0.5，字典原子數(shù)K=52。

3.3 實(shí)驗(yàn)結(jié)果與分析

為了對(duì)各算法融合結(jié)果進(jìn)行評(píng)價(jià)，本文選取4種評(píng)價(jià)指標(biāo)檢測融合結(jié)果的光譜質(zhì)量和空間質(zhì)量，分別是峰值信噪比PSNR（Peak Signal to Noise Ratio）、全局相對(duì)誤差ERGAS（Relative dimensionless global error in synthesis）（Wald，2000）、SAM 和通用圖像質(zhì)量指數(shù)UIQI（Universal Image Quality Index）（Wang和Bovik，2002），以下為實(shí)驗(yàn)結(jié)果與分析。

細(xì)節(jié)感知對(duì)比：對(duì)比有無細(xì)節(jié)感知誤差項(xiàng)對(duì)融合結(jié)果的影響，從表1中可以看出，對(duì)細(xì)節(jié)關(guān)注更多的時(shí)候，在Pavia University 數(shù)據(jù)集和Indian Pine 數(shù)據(jù)集上，融合結(jié)果的各項(xiàng)指標(biāo)均優(yōu)于無細(xì)節(jié)感知誤差項(xiàng)的結(jié)果，其中反映整體精度的PNSR分別提高了0.0263 和0.0165，反映光譜精度的SAM 分別提高了0.2%和0.016%。同時(shí)也證明已有算法在細(xì)節(jié)處誤差較大。

表1 細(xì)節(jié)感知誤差項(xiàng)對(duì)比實(shí)驗(yàn)結(jié)果Table 1 Results for comparison of detail perception error terms

字典對(duì)比：對(duì)比傳統(tǒng)基于圖像字典與本文提出的分層字典對(duì)融合結(jié)果的影響，從表2 可以看出，分層字典學(xué)習(xí)能有效提升融合結(jié)果的質(zhì)量，在兩個(gè)數(shù)據(jù)集上，PSNR分別提高了0.289和0.1924，SAM分別提高了4.6%和2.9%，數(shù)據(jù)表明在光譜特性的保持方面優(yōu)勢較為突出。

表2 字典對(duì)比實(shí)驗(yàn)結(jié)果Table 2 Results for comparison of dictionary learning

EADTV正則項(xiàng)：在均使用分層字典的情況下，對(duì)比在系數(shù)估計(jì)中有無EADTV 正則項(xiàng)對(duì)融合結(jié)果的影響。從表3 數(shù)據(jù)可以看出，兩個(gè)數(shù)據(jù)集上PSNR 分別提高了0.4121 和0.3156，SAM 分別提高了4.3%和3.1%，EADTV正則項(xiàng)可以提升融合結(jié)果的質(zhì)量。

表3 EADTV正則項(xiàng)對(duì)比實(shí)驗(yàn)結(jié)果Table 3 Results for comparison of EADTV Regular term

各算法對(duì)比實(shí)驗(yàn)：圖3和圖4是Pavia University數(shù)據(jù)和Indian Pines數(shù)據(jù)的融合結(jié)果及對(duì)應(yīng)MSE圖，從局部來看，本文算法在細(xì)節(jié)邊緣區(qū)域的誤差相對(duì)最小，對(duì)高光譜圖像的細(xì)節(jié)刻畫更加精確；從整體來看，本文算法的誤差同樣明顯小于其他對(duì)比算法。

圖4 Indian Pine數(shù)據(jù)融合結(jié)果及對(duì)應(yīng)MSE圖Fig. 4 Indian Pine data experiment results and corresponding MSE map

表4 和表5 是各算法融合結(jié)果在質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)下獲得的指標(biāo)值，本文算法相對(duì)于次優(yōu)解，PSNR值分別提升了0.4945和0.2345，整體精度高，SAM分別提升了6.9%和3.3%。從客觀的指標(biāo)值中不難看出本文算法不僅在空間恢復(fù)方面有良好的效果，在光譜保持方面同樣優(yōu)于其他對(duì)比算法。本文基于細(xì)節(jié)關(guān)注，實(shí)驗(yàn)結(jié)果的指標(biāo)值也能證明細(xì)節(jié)區(qū)域的融合效果的提升能有效提高融合結(jié)果的質(zhì)量。

表4 Pavia University數(shù)據(jù)實(shí)驗(yàn)結(jié)果Table 4 Results for data set Pavia University

表5 Indian Pine數(shù)據(jù)實(shí)驗(yàn)結(jié)果Table 5 Results for data set Indian Pine

4 結(jié) 論

通過對(duì)現(xiàn)有高光譜與多光譜圖像融合算法的分析，本文采用字典學(xué)習(xí)的方法，提出細(xì)節(jié)關(guān)注的字典構(gòu)建和圖像重建的融合算法。針對(duì)現(xiàn)有算法在細(xì)節(jié)部分重建誤差較大的問題，提出了分層字典學(xué)習(xí)算法，細(xì)節(jié)感知誤差項(xiàng)以及方向自適應(yīng)全變分正則項(xiàng)，分別對(duì)光譜字典求解和系數(shù)估計(jì)進(jìn)行改進(jìn)，減小了融合結(jié)果在細(xì)節(jié)部分的光譜特性和空間紋理的誤差，實(shí)現(xiàn)了對(duì)邊緣細(xì)節(jié)部分的精確表示。消融實(shí)驗(yàn)證明細(xì)節(jié)感知誤差、分層字典和EADTV 正則項(xiàng)的引入，在Pavia University 數(shù)據(jù)集上分別將整體精度（PNSR）提高了0.0263、0.289 和0.4121，光譜（SAM）精度分別提高了0.2%、4.6%和4.3%。在Pavia University 數(shù)據(jù)集和Indianpine 數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)證明，本文算法相對(duì)于次優(yōu)解，PSNR值分別提升了0.4945 和0.2345。實(shí)驗(yàn)印證了本文算法在整體上提高了融合結(jié)果的精確度，空間和光譜特性上表現(xiàn)出優(yōu)秀的性能，在視覺效果上了得到了有效提升。