基于分流的高光譜遙感圖像超分辨重建

徐英豪，呂玉超，劉斯凡，朱習(xí)軍

青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院，山東 青島266061

高光譜傳感器通過許多相鄰狹窄的光譜通道收集電磁光譜中的能量?？梢栽诿總€像素中捕捉到詳細(xì)的反射率或亮度分布[1]。每種物理材料都有自己的反射特征或發(fā)光特征。因此，高光譜遙感具有優(yōu)越的分辨能力，特別是對于視覺上類似的材料。然而，高光譜遙感圖像在空間分辨率和光譜分辨率之間存在權(quán)衡[2]。由于光譜切片[3]很窄，只有非常有限的一部分輻射能到達(dá)傳感器，導(dǎo)致滿足光譜分辨率同時空間分辨率得不到滿足，細(xì)小地物的識別和判讀得不到保證，無法滿足成圖精度。為了解決獲取超清高光譜圖像的困難，高光譜（HIS）超分辨率（SR）重建走進(jìn)了人們的視野。高光譜超分辨率重建是一種很有前景的圖像處理技術(shù)，旨在從其低分辨率（LR）圖像中獲取高分辨率（HR）圖像，以克服其固有的分辨率限制。Dong 等[4]提出了映射低分辨率和高分辨率圖像的端到端深度學(xué)習(xí)方法，該網(wǎng)絡(luò)結(jié)構(gòu)簡單，易于實(shí)現(xiàn)，但存在卷積層數(shù)少而導(dǎo)致的重建性能差的問題；在此基礎(chǔ)上，席志紅等[5]提出了多路徑模式的局部殘差學(xué)習(xí)與多權(quán)重遞歸學(xué)習(xí)相結(jié)合的模式來增加網(wǎng)絡(luò)深度的同時加快收斂速度；但速度仍有提升空間，劉超等[6]提出了超分辨率卷積神經(jīng)網(wǎng)絡(luò)加速算法通過縮小濾波器尺寸結(jié)合深度可分離卷積的方式實(shí)現(xiàn)重建的高速運(yùn)行。盡管深度學(xué)習(xí)在SR 中取得了突破，但當(dāng)在大尺度上進(jìn)行超分辨率重建時，其中一個還沒有解決的問題是如何恢復(fù)出更詳細(xì)的紋理細(xì)節(jié)[7]。Ledig等[8]利用生成對抗網(wǎng)絡(luò)（GAN）進(jìn)行圖像SR 來解決上述問題；彭晏飛等[9]對SRGAN 算法進(jìn)行了改進(jìn)，以支持向量機(jī)中的hinge 損失作為目標(biāo)函數(shù)，harbonnier 損失代替L2 損失函數(shù)使網(wǎng)絡(luò)穩(wěn)定性得到提升同時解決了普通區(qū)域產(chǎn)生斑點(diǎn)偽影的問題；蔣明峰等[10]提出了基于自注意力機(jī)制SRGAN 框架，自注意力機(jī)制產(chǎn)生的權(quán)重參數(shù)可以更準(zhǔn)確地對全局圖像結(jié)構(gòu)施加復(fù)雜的幾何約束，而且生成器和判別器在空間區(qū)域之間建立更準(zhǔn)確的關(guān)系依賴。但上述文獻(xiàn)仍然未考慮到圖像空間信息分布不均勻，SR 重建時占據(jù)相同計(jì)算量導(dǎo)致資源浪費(fèi)問題。研究者開始使用不同的處理策略來處理不同的圖像區(qū)域。RAISR[11]將圖像patch 劃分為簇，并為每個簇構(gòu)造相應(yīng)的濾波器，還使用了一種有效的哈希方法來降低聚類算法的復(fù)雜性；Kong 等[12]設(shè)計(jì)了一種利用數(shù)據(jù)特性加速超分辨率網(wǎng)絡(luò)實(shí)現(xiàn)特定區(qū)域的劃分重建。與現(xiàn)有方法不同的是子圖像分流和細(xì)節(jié)增強(qiáng)策略可以提供一種新的方法來處理高光譜遙感圖像超分辨率重建問題，即采用子圖像預(yù)先分流后提取高低頻信息分別進(jìn)行重建的方式，這樣避免了高光譜遙感圖像空間信息分布不均勻占據(jù)相同計(jì)算量所帶來的資源浪費(fèi)問題，并進(jìn)一步對細(xì)節(jié)信息實(shí)施增強(qiáng)細(xì)化超分辨率重建。然而，目前文獻(xiàn)中很少有文章提出一個統(tǒng)一的框架來同時解決計(jì)算過載和細(xì)節(jié)增強(qiáng)的問題。因此，迫切需要一種統(tǒng)一的、靈活的分辨率增強(qiáng)框架，同時解決過量計(jì)算和細(xì)節(jié)細(xì)化的問題。

因此本研究提出的多層級分流和細(xì)節(jié)增強(qiáng)的高光譜遙感圖像超分辨率重建框架，為高光譜遙感圖像重建提供了一種可靠的解決方案。高光譜遙感圖像作為子圖分流網(wǎng)絡(luò)的輸入，分流網(wǎng)絡(luò)將得到的結(jié)果提取高低頻信息后分別輸入不同復(fù)雜程度的CARN[13]算法進(jìn)行深度學(xué)習(xí)模型訓(xùn)練，建立高光譜遙感圖像分支重建模型，實(shí)現(xiàn)高光譜遙感圖像空間超分辨率重建。與典型的基于CNN的方法相比，提出框架更加有效，且需要較少的參數(shù)，但在高光譜遙感圖像重建方面具有更好的性能。

本文的主要貢獻(xiàn)可以總結(jié)如下：

（1）提出了一種新的用于高光譜遙感圖像的多層級分流和細(xì)節(jié)增強(qiáng)的超分辨率重建框架。與典型的基于CNN 超分辨率重建模型相比，本模型能夠高效地編碼空間光譜信息。

（2）為了充分考慮高光譜遙感圖像空間信息分布，在圖像預(yù)處理階段利用子圖像分流網(wǎng)絡(luò)進(jìn)行分流，有效地利用局部空間特征。

（3）通過改進(jìn)帶細(xì)節(jié)增強(qiáng)的多尺度Retinex 算法提取高光譜遙感圖像空間高低頻信息，有效地利用高光譜遙感圖像的細(xì)節(jié)紋理特征，達(dá)到細(xì)化細(xì)節(jié)的效果。

（4）在青科大一號衛(wèi)星和Pavia University 數(shù)據(jù)集上大量實(shí)驗(yàn)表明，該方法可以在高光譜遙感圖像超分辨率重建問題上優(yōu)于其他基于CNN的方法。

1 分流超分辨率重建框架

基于分流的高光譜遙感圖像超分辨重建框架圖如圖1所示。該框架主要由子圖分流模塊、高低頻信息提取模塊、區(qū)域圖像超分辨率重建模塊三部分組成。

圖1 高光譜遙感圖像超分辨率重建框架圖Fig.1 Super resolution reconstruction frame of hyperspectral remote sensing image

首先對輸入圖像進(jìn)行空間分解[14]，使用基于DenseNet模型的輕量級子圖分流網(wǎng)絡(luò)對子圖像信息復(fù)雜程度進(jìn)行分流處理；再通過改進(jìn)帶細(xì)節(jié)增強(qiáng)多尺度Retinex[15]算法把圖像的高低頻信息進(jìn)行分離；最后匯入小型、中型和大型三種不同復(fù)雜程度的網(wǎng)絡(luò)分別對高低頻信息進(jìn)行超分辨率重建；對完成超分辨率重建的圖像高低頻信息進(jìn)行線性加權(quán)融合，把子圖拼接成完整圖像，重構(gòu)清晰圖像。

1.1 子圖分流網(wǎng)絡(luò)

遙感圖像中各區(qū)域空間信息復(fù)雜程度不同，例如光滑區(qū)域（湖泊、田地）和復(fù)雜區(qū)域（工廠、住宅），這表明可以使用更小的網(wǎng)絡(luò)來處理光滑的圖像區(qū)域，使用深度網(wǎng)絡(luò)去處理復(fù)雜區(qū)域[16]。根據(jù)這個觀察，可以將大尺度遙感圖像分解為子圖像，對分解后包含不同形態(tài)信息的區(qū)域采用不同的網(wǎng)絡(luò)進(jìn)行超分辨率重建。對于大尺度遙感圖像來說子圖像分解尤其重要，因?yàn)橛懈嗟牡貐^(qū)重建起來相對簡單。根據(jù)統(tǒng)計(jì)，Pavia University數(shù)據(jù)集約36%的LR子圖像（32×32）屬于平滑區(qū)域，而青科大一號衛(wèi)星采集的高密市高光譜數(shù)據(jù)集這一比例上升到56%。也就是說對大尺度遙感圖像進(jìn)行子圖像分解并分流進(jìn)行重建不僅可以降低計(jì)算量在實(shí)際應(yīng)用中節(jié)省內(nèi)存空間還為后續(xù)提取高低頻信息做好準(zhǔn)備。

子圖分流網(wǎng)絡(luò)的目標(biāo)是根據(jù)子圖像是否容易重建進(jìn)行分類，分為容易重建和困難重建兩類，網(wǎng)絡(luò)利用圖像之間詳細(xì)的紋理信息進(jìn)行分類。受到DenseNet模型的啟發(fā)設(shè)計(jì)基于DenseNet 模型的輕量級子圖分流網(wǎng)絡(luò)，如圖2 所示。輕量級子圖分流網(wǎng)絡(luò)設(shè)計(jì)為4 個卷積層、3個LRelu層、1個平均池化層和1個全連接層，并以前饋方式將每一層連接到每一層，卷積層負(fù)責(zé)特征提取，池化和全連接層輸出概率向量。子圖分流網(wǎng)絡(luò)具體參數(shù)如表1所示。具體來說，把大尺度圖像X分解成子圖xi；這個分類模型能接受對每一個子圖xi都生成概率向量P(xi)。然后通過選取概率值最大的指標(biāo)來確定子圖屬于哪一類。實(shí)驗(yàn)表明，該結(jié)構(gòu)簡單且能夠取得良好的分類效果。

表1 子圖分流網(wǎng)絡(luò)參數(shù)設(shè)置Table 1 Subgraph shunting network parameter setting

圖2 子圖分流網(wǎng)絡(luò)Fig.2 Subgraph shunting network

使用基礎(chǔ)DenseNet 網(wǎng)絡(luò)訓(xùn)練時，網(wǎng)絡(luò)收斂到一個極端點(diǎn)而導(dǎo)致的圖像都被分類到復(fù)雜紋理的分支。在輸出向量時，例如分流結(jié)果向量為[0.90，0.10]優(yōu)于[0.54，0.46]，因?yàn)楹笳呖雌饋硐袷请S機(jī)選擇，這樣子圖分類網(wǎng)絡(luò)將失去它的功能。為了避免這種情況，確保兩個分支有平等的機(jī)會被選擇。因此，設(shè)計(jì)了基于DenseNet模型的輕量級子圖分流網(wǎng)絡(luò)來執(zhí)行子圖的分流任務(wù)。子圖分流網(wǎng)絡(luò)，可以將紋理信息較少大致為均勻的統(tǒng)一體的圖片分流到容易重建；將紋理復(fù)雜，非隨機(jī)排列較多的圖片分流到困難重建，提高了分流的有效性。

1.2 高低頻信息分離

Retinex算法是利用人類視覺系統(tǒng)提出的一種圖像增強(qiáng)算法。使用傳統(tǒng)的多尺度Retinex算法提取高頻和低頻圖像信息，得到的結(jié)果中高頻信息的局部細(xì)節(jié)會很差。因此，對Retinex多尺度算法進(jìn)行了改進(jìn)，提出帶細(xì)節(jié)增強(qiáng)的多尺度Retinex算法以分離高光譜遙感圖像的高頻和低頻信息。假設(shè)低頻信息為空間平滑圖像、原始圖像S(x,y)，高頻信息為R(x,y)，低頻信息為L(x,y)，r(x,y)為輸出圖像，*為卷積符號，F(xiàn)i(x,y)為中心環(huán)繞函數(shù)，K為高斯中心環(huán)繞函數(shù)的個數(shù)，K值通常取3，Wi為尺度的權(quán)重因子且W1=W2=W3=1/3,h(x,y)為恢復(fù)系數(shù)通過恢復(fù)系數(shù)實(shí)現(xiàn)高頻信息細(xì)節(jié)部分的增強(qiáng)；由此得到改進(jìn)帶細(xì)節(jié)增強(qiáng)多尺度Retinex 算法，其表達(dá)式為：

低頻信息提取的表達(dá)式為：

Retinex算法改進(jìn)前后提取高頻信息結(jié)果圖如圖3，圖3 中imgae1 和imgae2 分別為容易重建和困難重建數(shù)據(jù)集中部分提取出的高頻信息結(jié)果，對比改進(jìn)前后效果圖發(fā)現(xiàn)，改進(jìn)后高頻信息中的地物與背景的邊緣部位細(xì)節(jié)更加清晰，圖像邊緣的灰度值變化更快，使區(qū)域圖像超分辨率重建模塊對細(xì)節(jié)特征信息的提取更加敏感，局部特征提取更加完善。

圖3 高頻信息對比圖Fig.3 High frequency information comparison diagram

從原始遙感數(shù)據(jù)中提取圖像的高頻信息和低頻信息，部分結(jié)果如圖4所示。從圖4可以看到，高頻信息中包含遙感圖像的主特征和細(xì)節(jié)信息，低頻信息包含遙感圖像中包含大量平滑信息。因此，在執(zhí)行超分辨率重建任務(wù)時應(yīng)對高低頻信息使用不同處理策略。

圖4 高低頻信息分離效果圖Fig.4 Effect drawing of high and low frequency information separation

1.3 區(qū)域圖像重建模型

采用不同的網(wǎng)絡(luò)來處理不同復(fù)雜程度的子圖像，即采用分而治之的思想實(shí)現(xiàn)超分辨率重建。CARN 使用本地和全局級聯(lián)機(jī)制來整合來自多層的特性，這具有反映不同層次輸入的效果，以便接收更多的信息。本文不涉及CARN算法的任何優(yōu)化問題，在CARN的基礎(chǔ)上研究了一種區(qū)域化圖像重建的方法。如表2 所示（-O：原始的網(wǎng)絡(luò)），本文使用了三個網(wǎng)絡(luò)結(jié)構(gòu)相同但信道數(shù)不同的CARN模型。首層分別含有32、50、64個通道的網(wǎng)絡(luò)被用于從簡單和困難中分離出子圖像高低頻信息的訓(xùn)練，即困難重建的低頻信息和容易重建的低頻信息，容易重建的高頻信息，困難重建的高頻信息。通過子圖分流網(wǎng)絡(luò)過濾困難重建的低頻信息和容易重建的低頻信息，發(fā)現(xiàn)空間復(fù)雜程度相差不大所以歸為一類。由表2可以看出，CARN（32）和CARN-O（64）在“困難重建的低頻信息和容易重建的低頻信息”子圖像上幾乎沒有差別，而在“容易重建的高頻信息”子圖像上CARN（50）可以達(dá)到與CARN-O（64）大致相同的性能。這表明可以使用輕量網(wǎng)絡(luò)來處理簡單的子圖像，以節(jié)省計(jì)算成本。所以提出區(qū)域圖像重建方法，它可以區(qū)別處理不同的區(qū)域圖像實(shí)現(xiàn)重建并到達(dá)不錯的效果。

表2 CARN三個SR分支獲得MPSNR值Table 2 MPSNR value is obtained from three SR branches of CARN

設(shè)計(jì)區(qū)域圖像重建模型，它由3個獨(dú)立的分支組成Simple、Medium和Complex。每個分支是基于級聯(lián)殘差網(wǎng)絡(luò)CARN 超分辨率網(wǎng)絡(luò)。采用這種CARN 網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，并將其設(shè)置為最復(fù)雜的分支，其他分支則通過降低網(wǎng)絡(luò)復(fù)雜度得到。使用每個卷積層的信道（卷積）數(shù)量來控制網(wǎng)絡(luò)復(fù)雜度，通過減少卷積層數(shù)來完成網(wǎng)絡(luò)復(fù)雜度的降低。找到能完成所有訓(xùn)練任務(wù)的最小層數(shù)和卷積數(shù)作為最大分支，然后依同樣的方式去完成中型網(wǎng)絡(luò)和小型網(wǎng)絡(luò)的訓(xùn)練模型。對已完成超分辨率重建任務(wù)的圖像高低頻信息進(jìn)行線性加權(quán)融合，把子圖拼接成完整圖像，重構(gòu)清晰圖像。線行線性加權(quán)融合公式如下，R(x,y)為高頻信息，L(x,y)為低頻信息，S為高低頻信息線性加權(quán)融合后的完整圖像，l為加權(quán)系數(shù)，取值均為0.5。

為了充分證明框架編碼空間光譜信息的能力，在2、4和8倍上采樣因子中均進(jìn)行了測試，由表3數(shù)據(jù)顯示，提出的方法獲得了比原始網(wǎng)絡(luò)更好的性能和更低的計(jì)算成本，實(shí)現(xiàn)高效編碼空間光譜信息，F(xiàn)LOPs 降低到70%至52%。運(yùn)算量的減少并沒有導(dǎo)致圖像質(zhì)量的下降，這表明性能的提高不是以運(yùn)算負(fù)擔(dān)為代價的。這證明了，將輸入的子圖像分流到更合適分支的重要性。

表3 各上采樣因子實(shí)驗(yàn)的MPSNR值Table 3 MPSNR value of each up sampling factor experiment

2 實(shí)驗(yàn)分析

該框架在ubuntul10.4 系統(tǒng)上進(jìn)行了訓(xùn)練，使用NVIDIA GTX1080Ti GPU 設(shè)備，圖像內(nèi)存為28 GB。該網(wǎng)絡(luò)由開源Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)，采用Adam修正法對網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化[17]，初始學(xué)習(xí)率設(shè)置為0.001。嘗試設(shè)置學(xué)習(xí)速率為0.1、0.01、0.001和0.000 1。實(shí)驗(yàn)結(jié)果表明，當(dāng)初始學(xué)習(xí)率為0.001 時，與其他學(xué)習(xí)率相比，得到的結(jié)果最好。

2.1 數(shù)據(jù)集

本節(jié)將提出的方法應(yīng)用于兩個高光譜圖像數(shù)據(jù)集青科大一號衛(wèi)星數(shù)據(jù)集和Pavia University[18]數(shù)據(jù)集。青科大一號衛(wèi)星數(shù)據(jù)為2019 年7 月中國山東省濰坊市的高光譜遙感影像。其中光譜范圍為400～1 000 nm，并等分為256（任選32）個波段，空間分辨率為10 m。將平均大小為5 000×5 000 像素的圖像裁剪成尺寸為128×128 像素。Pavia University 數(shù)據(jù)為2003 年意大利的帕維亞城的一部分高光譜數(shù)據(jù)，涵蓋了從430～860 nm 的103 個光譜波段，空間分辨率為1.3 m 并標(biāo)注由9 類樣本。對于每個數(shù)據(jù)集，選擇一個128×128像素的子區(qū)域來評估提出的多層級分流和細(xì)節(jié)增強(qiáng)的高光譜遙感圖像超分辨率重建框架性能，另一個128×128子區(qū)域用來驗(yàn)證，剩余的用于訓(xùn)練。制作訓(xùn)練集時，設(shè)置高光譜遙感圖像為基礎(chǔ)HR圖像，通過模擬遙感圖像的模糊方式，增加Disk模糊，經(jīng)雙三次插值得到LR圖像。其中Disk模糊分為不同的模糊核，來使LR 圖像具有不同的模糊程度[19]。

2.2 評估標(biāo)準(zhǔn)

為了綜合評價所提方法的性能，使用了經(jīng)典評價指標(biāo)和遙感圖像分類應(yīng)用相結(jié)合的方式進(jìn)行驗(yàn)證[20]。經(jīng)典評價指標(biāo)為：信號重構(gòu)誤差（signal to reconstruction error，SRE）、平均峰值信噪比（meanpeak signal-to noise ratio，MPSNR）、平均結(jié)構(gòu)相似度指數(shù)（mean structural similarity index，MSSIM）、平均均方根誤差（mean root mean square error，MRMSE）[21]。SRE是根據(jù)重構(gòu)圖像與場景實(shí)況圖像之間的信號誤差反映圖像質(zhì)量的全局指標(biāo)，MPSNR和MRMSE可以通過均方誤差估計(jì)生成圖像與地面真像之間的相似性。MSSIM強(qiáng)調(diào)與地面真實(shí)圖像的結(jié)構(gòu)一致性。SRE、MPSNR和MSSIM的理想值為1。對于MRMSE，最優(yōu)值均為0。遙感圖像分類應(yīng)用的評價指標(biāo)主要有總體精度（overall accuracy，OA）、生產(chǎn)精度（producer accuracy，PA）、平均精度（average accuracy，AA）以及Kappa 系數(shù)[22]。OA 是整個分類器性能的反映，PA 是每個類別所對應(yīng)的準(zhǔn)確率，AA 是所有類別生產(chǎn)精度的平均，Kappa系數(shù)是分類結(jié)果與真值地物之間的一致性。

2.3 實(shí)驗(yàn)結(jié)果分析

本節(jié)在青科大一號衛(wèi)星和Pavia University 兩個基準(zhǔn)數(shù)據(jù)集上進(jìn)行了一系列的實(shí)驗(yàn)，評估本文提出框架的性能，選擇了三種具有公共代碼的最先進(jìn)的深度學(xué)習(xí)方法作為基線在4 倍上采樣因子進(jìn)行比較：FSRCNN、LapSRN[25]和CARN。實(shí)驗(yàn)結(jié)果如表4所示，對應(yīng)的可視化結(jié)果如圖5 和圖6 所示，青科大一號衛(wèi)星數(shù)據(jù)集以1波段顯示，Pavia University 數(shù)據(jù)集以49 波段顯示。其中在圖像的右下角的紅色矩形區(qū)域表示圖像被放大了三倍。

圖5 青科大一號衛(wèi)星數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of QUST-1 satellite dataset

圖6 Pavia University數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Fig.6 Experimental results of Pavia University dataset

表4 超分辨率重建實(shí)驗(yàn)結(jié)果Table 4 Experimental results of super-resolution reconstruction

在高光譜遙感數(shù)據(jù)實(shí)際應(yīng)用中，需要光譜數(shù)據(jù)的同時還需要用到其對應(yīng)的空間形態(tài)信息。高光譜遙感數(shù)據(jù)的劣勢是光譜信息豐富但空間形態(tài)信息匱乏，所以在很多地物分類、識別的過程中無法做到精準(zhǔn)的判讀，判斷空間形態(tài)信息需要有高的空間分辨率，而高光譜遙感數(shù)據(jù)本身無法滿足需求。雖然Ahn 等[13]也研究使用了級聯(lián)殘差方法為實(shí)現(xiàn)空間分辨率的提高做出了貢獻(xiàn)，但存在處理信息分布不均數(shù)據(jù)時同等對待而不能對不同地物空間形態(tài)信息做出對癥重建的缺點(diǎn)。實(shí)驗(yàn)結(jié)果表明，提出方法能夠在不損害光譜信息和有效利用計(jì)算負(fù)載的前提下，保留地物的真實(shí)空間形態(tài)信息對癥重建，實(shí)現(xiàn)空間分辨率進(jìn)一步提高的同時地物識別精度也得到提高。

由表4 中青科大一號衛(wèi)星數(shù)據(jù)實(shí)驗(yàn)結(jié)果表明提出的多層級分流和細(xì)節(jié)增強(qiáng)的高光譜遙感圖像超分辨率重建模型在SRE、MPSNR、MSSIM和MRMSE指標(biāo)的值最優(yōu)，分別為38.20、31.85、0.65、6.95，與FSRCNN 模型對比SRE、MPSNR 和MSSIM 分別提高了1.84、2.98、0.07，MRMSE 降低了1.75。提出方法在處理像青科大一號衛(wèi)星數(shù)據(jù)集這種以平原、田地和小城鎮(zhèn)等自然場景為主相對簡單的不規(guī)則自然圖案數(shù)據(jù)時，子圖分流結(jié)構(gòu)將大部分子圖劃分到容易重建一類，通過帶細(xì)節(jié)增強(qiáng)的多尺度Retinex的結(jié)構(gòu)將細(xì)微的紋理信息和光譜信息很好地保存下來，并傳遞到區(qū)域圖像重建模塊的簡單分支進(jìn)行重建，局部圖像信息更加平滑，使用較少的運(yùn)算量實(shí)現(xiàn)更好的效果。

從表4中Pavia University數(shù)據(jù)的結(jié)果可以看出，提出的方法與其他方法相比仍然具有較好的重建結(jié)果。與FSRCNN相比，SRE提高了1.84，MPSNR提高了3.64，MSSIM 提高了0.06，MRMSE 降低了1.79。在處理像Pavia University 數(shù)據(jù)集這種包含不同頻段城市場景組成的規(guī)則人工圖案數(shù)據(jù)時，子圖分流結(jié)構(gòu)將大部分子圖劃分到困重建一類，通過帶細(xì)節(jié)增強(qiáng)的多尺度Retinex的結(jié)構(gòu)和區(qū)域圖像重建模塊的復(fù)雜分支對不同頻段的邊緣、紋理細(xì)節(jié)特征更加全面地提取并使之參與到重建計(jì)算中，避免圖像出現(xiàn)鋸齒狀邊界，描繪出的形狀更加真實(shí)。當(dāng)然在處理類似城郊結(jié)合的中等復(fù)雜數(shù)據(jù)時提出方法也可以做出靈活處理在計(jì)算量和性能上達(dá)到最優(yōu)。

為了進(jìn)一步說明提出框架的優(yōu)越性，在圖5 和圖6中給出了可視化結(jié)果，在圖7 中給出了實(shí)驗(yàn)光譜曲線。在圖5 青科大一號衛(wèi)星數(shù)據(jù)集實(shí)驗(yàn)結(jié)果的FSRCNN 效果圖中發(fā)現(xiàn)FSRCNN 未能提取和恢復(fù)地面真像圖像中小建筑物之間的縫隙。雖然在LapSRN 和CARN 的重建結(jié)果中可以觀察到，但這條縫隙不明顯，不容易被檢測。相比之下，提出框架利用增強(qiáng)的細(xì)節(jié)紋理特征將保留細(xì)節(jié)，使其更加清晰。在圖6Pavia University 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果中，地面真像中有一個“一”字形建筑物輪廓，這個輪廓在其他方法的結(jié)果中很難區(qū)分出來。相比之下，這個“一”字輪廓仍然可以在提出的結(jié)果中觀察到。這表明提出的框架可以利用利用高光譜遙感圖像的細(xì)節(jié)紋理特征，并受益于區(qū)域圖像重建模塊重建精細(xì)紋理，說明該網(wǎng)絡(luò)可以更好地保存光譜信息，更好地保持細(xì)節(jié)特征。

圖7 展示了青科大一號衛(wèi)星和Pavia University 數(shù)據(jù)集各波段的MPSNR 性能，本文提出的方法MPSNR在各波段都持續(xù)高于其他方法。由以上結(jié)果表明本文算法在考慮局部空間細(xì)節(jié)時，可以更好地學(xué)習(xí)和強(qiáng)化空間特征，提高結(jié)構(gòu)特征的連貫性。因此，可以得出結(jié)論，本文提出的算法在CMOS 和ROSIS 傳感器采集的這兩個數(shù)據(jù)集上都能夠獲得較好的表現(xiàn)。

圖7 各波段的MPSNR性能展示Fig.7 MPSNR performance display of each band

為驗(yàn)證提出模型的有效性，采用SVM 分類算法在原始Pavia University 數(shù)據(jù)集和經(jīng)提出框架重建后的Pavia University 數(shù)據(jù)集上進(jìn)行分類對比實(shí)驗(yàn)。分類結(jié)果的評價指標(biāo)如表5。圖8直觀地展示了分類圖。從圖表中可以看出，在使用相同分類算法的情況下，重建數(shù)據(jù)的分類性能均超過原始數(shù)據(jù)的性能，從而證明提出的超分辨率重建模型對圖像質(zhì)量的提升在分類應(yīng)用有良好的效果。

表5 原始圖像和超分圖像分類對比結(jié)果Table 5 Classification and comparison results of original image and super divided image %

文章進(jìn)行了消融實(shí)驗(yàn)來驗(yàn)證提出框架中各組成部分的重要性。消融實(shí)驗(yàn)中不同模塊的設(shè)置包括：不加子圖分流網(wǎng)絡(luò)分支，不加高低頻信息提取分支，不加改進(jìn)高低頻信息提取分支，這三種比較方法除了被消融的模塊，其他均與提出模型具有相同的設(shè)置。在青科大一號衛(wèi)星和Pavia University數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，結(jié)果如圖9所示，從圖中可以看出使用改進(jìn)細(xì)節(jié)增強(qiáng)算法比不改進(jìn)算法的超分辨率重建結(jié)果在MPSNR值上提升了約1.2%，從而證明了細(xì)節(jié)增強(qiáng)的有效性。所提出框架的超分辨率重建指標(biāo)超過了其他消融實(shí)驗(yàn)?zāi)Ｐ偷闹笜?biāo)，證明了所提出框架中每個組件的重要性。

圖9 青科大一號衛(wèi)星和Pavia University數(shù)據(jù)集上消融實(shí)驗(yàn)結(jié)果Fig.9 Ablation experiment on QUST-1 satellite and Pavia University

3 結(jié)束語

為了提高高光譜遙感圖像的空間分辨率，提出的多層級分流和細(xì)節(jié)增強(qiáng)的高光譜遙感圖像超分辨率重建框架。針對高光譜遙感圖像的空間信息分布不均勻?qū)е轮亟〞r占據(jù)相同計(jì)算量的問題，本文設(shè)計(jì)子圖分流網(wǎng)絡(luò)進(jìn)行分流，實(shí)現(xiàn)計(jì)算負(fù)載的有效利用；針對高光譜遙感圖像細(xì)節(jié)部分重建后不夠精細(xì)問題，設(shè)計(jì)高低頻信息提取模塊對紋理細(xì)節(jié)部分重點(diǎn)提取以充分保留紋理細(xì)節(jié)信息和消除不必要的噪聲，使重建工作更加細(xì)化具體。在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與其他高光譜遙感圖像超分辨率重建方法相比該框架能夠恢復(fù)更精細(xì)的細(xì)節(jié)且具有較高的效率。在未來的研究中，如何在一定的約束條件下進(jìn)行更精確的圖像高低頻信息加權(quán)融合是本文研究的重點(diǎn)。