融合多尺度特征卷積神經(jīng)網(wǎng)絡(luò)的多光譜圖像壓縮方法

張麗麗，陳子坤，潘天鵬，屈樂樂

（沈陽航空航天大學(xué) 電子信息工程學(xué)院，遼寧 沈陽 110136）

1 引言

多光譜圖像在空間和光譜維度上具有高分辨率的特點(diǎn)，在軍事、農(nóng)業(yè)檢測和測繪等多個(gè)領(lǐng)域有著廣泛的應(yīng)用［1-4］。但由于多光譜圖像數(shù)據(jù)具有維度高，數(shù)據(jù)量大的特點(diǎn)，存在著存儲和傳輸?shù)膯栴}［5-7］。普通圖像每個(gè)像素的數(shù)據(jù)大小為8 bit，而多光譜圖像每個(gè)像素的數(shù)據(jù)大小為16 bit，所以在圖像大小相同的情況下，多光譜圖像有著比普通圖像更高的數(shù)據(jù)量。所以對多光譜圖像在高比特率下進(jìn)行高效的壓縮和重建方法的研究是很有必要的。

應(yīng)用于多光譜圖像壓縮的傳統(tǒng)圖像壓縮方法一般有JPEG2000［8］和3D-SPIHT［9］等，這些方法既能實(shí)現(xiàn)碼率可變的圖像壓縮又可以實(shí)現(xiàn)高壓縮比的有損壓縮［10］，支持區(qū)域感興趣編碼，能夠選擇性地對特定區(qū)域進(jìn)行壓縮和解壓縮。但是以上算法都存在著復(fù)雜度高，重建圖像質(zhì)量不高的問題。因此，傳統(tǒng)圖像壓縮方法已經(jīng)不能滿足高效多光譜圖像壓縮的要求。

近年來，深度學(xué)習(xí)有損圖像壓縮方法得到了迅速發(fā)展。相對于傳統(tǒng)圖像壓縮算法，深度學(xué)習(xí)算法對圖像的特征提取、表達(dá)能力以及對高維數(shù)據(jù)的處理能力等方面有著很大的優(yōu)勢。同時(shí)深度學(xué)習(xí)方法可以進(jìn)行端到端的學(xué)習(xí)和優(yōu)化［11］，從原始圖像到壓縮編碼的整個(gè)過程都可以通過神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端訓(xùn)練。這樣可以更好地統(tǒng)一優(yōu)化壓縮和解壓縮過程，提高整體性能。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）［12］因其優(yōu)異的局部感知能力、多層次特征提取能力在深度學(xué)習(xí)圖像壓縮當(dāng)中得到了大量的應(yīng)用。傳統(tǒng)基于CNN 的圖像壓縮模型結(jié)構(gòu)為：編碼器，解碼器，量化器以及熵編解碼器。其中編碼器，解碼器由CNN 構(gòu)成。為進(jìn)一步獲得更優(yōu)的壓縮效果，Ballé 等人提出了超先驗(yàn)的概念［13］，指出應(yīng)該為潛在表示下的每個(gè)像素點(diǎn)分別估計(jì)各自的分布、均值和方差，在熵編碼階段中依據(jù)該信息，可以有效地消除原潛在表示中存在的邊信息，得到消除空間冗余后的潛在表示，可以得到更優(yōu)的熵編碼。此外，其在編解碼網(wǎng)絡(luò)中加入廣義除法歸一化（Normalization of (Inverse)Generalized Division,GDN/IGDN）提高網(wǎng)絡(luò)的潛在特征提取能力。Minnen 等人在Ballé 等人的模型基礎(chǔ)上做了改進(jìn)［14］。在保留核心自編碼器網(wǎng)絡(luò)和超先驗(yàn)網(wǎng)絡(luò)的結(jié)構(gòu)下，添加了基于自回歸的上下文模型。編碼器網(wǎng)絡(luò)學(xué)習(xí)圖像量化后的潛在表示，上下文模型通過自回歸預(yù)測熵模型的概率分布，而超先驗(yàn)網(wǎng)絡(luò)學(xué)習(xí)圖像的隱藏特征的表示信息，用于修正和調(diào)整上下文模型的預(yù)測結(jié)果。

對于多光譜圖像，以上提出的模型其結(jié)構(gòu)并不能高效地提取到多光譜圖像的光譜間特征。為了能提取到空間特征和譜間特征，Kong 等人在2020 年提出了一種基于加權(quán)特征通道殘差網(wǎng)絡(luò)的端到端多光譜圖像壓縮框架［15］，通過殘差塊統(tǒng)一去除多光譜圖像中的冗余信息，但其并沒有單獨(dú)針對光譜間和空間信息進(jìn)行處理，之后kong等人提出了一種空間光譜間雙路特征提取網(wǎng)絡(luò)［16］，將空間和光譜特征分別提取并融合，并對空間特征的提取采用組卷積的方式避免與光譜間特征發(fā)生混淆。在2020 年，Roy 等人提出了一種混合頻譜CNN［17］，它由3DCNN 和2DCNN 組成，先使用3DCNN 來提取聯(lián)合光譜空間特征，再使用2DCNN 來學(xué)習(xí)更抽象的空間表示。在2021 年Cao 等人提出了一種張量CNN 光譜空間特征完全分離的提取方法［18］，在空間光譜間的雙特征提取之上，利用塔克分解和神經(jīng)網(wǎng)絡(luò)相結(jié)合的兩個(gè)張量層對多路特征進(jìn)行分解。分解后的特征張量沿著通道維度連接，分別保存頻譜和空間特征。在2022 年kong 等人提出了一種多向CNN 空間光譜間特征提取算法［19］，將特征提取網(wǎng)絡(luò)劃分為三個(gè)并行模塊。光譜模塊用于獲得沿光譜方向的光譜特征，其中兩個(gè)空間模塊提取沿兩個(gè)不同空間方向的空間特征，然后將所有特征融合在一起后進(jìn)行壓縮。以上方法有效地解決空間與光譜間的特征提取問題，但是仍沒有解決多光譜圖像元素間的長距離關(guān)系問題。在2022 年Kong 等人提出一種多尺度空間譜注意力網(wǎng)絡(luò)［20］，提取出了多尺度的光譜特征，解決了光譜相關(guān)性的非平穩(wěn)性和空間特征的尺度多樣性的問題。但是其網(wǎng)絡(luò)中使用不同尺度的3D 卷積塊共同提取光譜與空間特征，兩類特征的相關(guān)性會相互影響，這樣會降低對光譜間特征和空間特征的提取效率，同時(shí)也會使模型的參數(shù)量過大。

對于多光譜圖像壓縮以上方法并不能達(dá)到高效率同時(shí)提取輸入圖像的空間特征和光譜間特征。一方面，其忽略了特征之間的長距離相關(guān)性以及獨(dú)立性的問題。另一方面，針對空間特征使用普通2D 卷積操作只針對平方塊內(nèi)的元素進(jìn)行操作，這樣的操作會導(dǎo)致一部分空間信息的損失，即局部空間信息的損失。所以現(xiàn)有方法不能同時(shí)實(shí)現(xiàn)高效的空間和光譜間特征提取。針對此問題，本文提出了一種融合多尺度特征卷積神經(jīng)網(wǎng)絡(luò)的多光譜圖像壓縮方法。通過在編解碼器引入多尺度空間光譜間特征提取模塊和空間光譜間非對稱卷積塊，解決特征之間存在長距離相關(guān)性以及局部特征信息會被忽略的問題。多尺度空間光譜間特征提取模塊使用不同的卷積方式和多尺度的卷積模式來獲取元素之間的長距離相關(guān)性。該模塊在空間特征上采用多個(gè)尺度的組卷積模式，以避免與光譜間特征發(fā)生混淆。在光譜間特征提取上，使用3D 卷積來提取縱向的光譜信息。同時(shí)，在特征提取階段，采用多個(gè)空間殘差塊和光譜間殘差塊，以同時(shí)高效提取空間特征和光譜間特征?？臻g光譜間非對稱卷積塊通過對輸入特征進(jìn)行不同方向的一維卷積來提取局部特征，并進(jìn)行整合。該網(wǎng)絡(luò)能夠同時(shí)高效地提取多光譜圖像的空間特征和光譜間特征并對其進(jìn)行壓縮。

2 融合多尺度特征卷積神經(jīng)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

多光譜圖像輸入X進(jìn)入帶有多尺度空間譜間特征提取模塊和空譜非對稱卷積模塊的前向特征提取網(wǎng)絡(luò)Ga，以提取多光譜圖像中的空間特征信息和光譜間特征信息，其過程如下所示：

其中：Y代表經(jīng)過網(wǎng)絡(luò)Ga后所得到的特征信息，Wconv，WGDN，WMSSA，WSSC，分別代表卷積操作，廣義除法歸一化操作以及多尺度空間譜間特征提取操作和空間光譜間非對稱卷積操作。多尺度空間譜間特征提取模塊被部署在編碼器的瓶頸位置，可以在多光譜圖像輸入的開始階段有效地提取到多尺度的光譜以及空間信息?？臻g光譜間非對稱卷積模塊在提取局部空間特征的同時(shí)還可以輔助光譜特征的提取。在獲得空間和光譜間特征信息Y后，鑒于熵模型與潛在表示上的先驗(yàn)相對應(yīng)，潛在表示可以將邊信息視為熵模型參數(shù)的先驗(yàn)。為了進(jìn)一步獲取邊信息Z，將輸入Y輸入到超優(yōu)先級分析編碼器Ha中進(jìn)行編碼處理，其具體過程可以表示為：

其中：Z是獲取到的邊信息，Wconv，WRELU，分別代表卷積和LeakyReLU操作，最后Z被量化編碼成為比特流，在熵解碼端進(jìn)行處理得到量化后的通過Hs獲得所需要的熵參數(shù)，其具體過程如下所示：

2.2.1 光譜間特征提取

光譜間特征存在于多光譜圖像的縱向上，針對光譜間的特征，采用3D 卷積的方法，3D 卷積操作可以對輸入數(shù)據(jù)進(jìn)行一維的縱向卷積操作從而提取到豐富的光譜特征。為了更好地提取特征，使用了n個(gè)譜間殘差塊，其基本過程如圖4（a）所示，對輸入依次進(jìn)行3D 卷積，激活，3D 卷積操作后與輸入相加后進(jìn)行激活，其具體過程如下：

其中：X為模塊的輸入代表第n個(gè)譜間殘差塊的輸出。Rspe(X)代表譜間殘差塊的處理過程，WRELU，Wconv3D分別代表激活操作以及3D 卷積操作。在本文中譜間殘差塊的數(shù)量為3。采用兩條并行的譜間特征提取路線，以上為其中一條路線的示例，兩條并行支路使用不同尺度的卷積核大小提取出不同尺度的譜間特征，卷積核的大小分別為5×1×1 和7×1×1，卷積核的選擇在3.4 節(jié)介紹，多尺度特征提取完畢后，使用concat操作將兩部分輸入整合到一起，使用1×1 卷積進(jìn)行降維操作，用Sigmoid函數(shù)對降維后的數(shù)據(jù)進(jìn)行歸一化處理最后與整合降維后數(shù)據(jù)做乘積操作得到融合后的光譜特征，過程如下：

其中：X代表輸入圖像代表經(jīng)過多個(gè)譜間殘差塊的輸出，分別代表經(jīng)過兩個(gè)并行的光譜間特征提取支路的輸出結(jié)果。M，N分別代表兩個(gè)支路所使用的卷積核的大小，concat操作將兩個(gè)尺度的特征信息合并起來。Wconv1×1代表卷積核大小為1 的卷積操作，將輸入數(shù)據(jù)的維度轉(zhuǎn)化為所需要的維度。

2.2.2 空間特征提取

針對空間特征的提取方法與光譜特征提取基本一致，為了不與光譜間特征發(fā)生混淆，卷積方式采用的是組卷積的方法如圖3 所示，輸入通道與輸出通道均為C/N（圖中N取2），在本文中N為192。此操作不僅可以單獨(dú)提取到空間特征，也減少了參數(shù)量。對于空間特征也采取同譜間特征相同的引入殘差塊的處理，其過程同譜間殘差塊相同，且引入數(shù)量為3，不同的是卷積操作采用的是組卷積，其過程如圖4（b）所示。

在空間多尺度方面，引入兩條并行路線，卷積核大小分別為5×5 和7×7，其過程如下：

2.2.3 空間光譜間特征融合

在提取到多尺度的空間譜間的特征后對兩者進(jìn)行融合操作，其過程如下所示：

其中：X，，分別代表多光譜圖像輸入所提取的多尺度的空間信息以及譜間信息。Xout為模塊的輸出。

在得到空間特征與光譜間特征后，進(jìn)行與譜間和空間多尺度特征融合相同的操作，用來得到融合后的空間光譜間聯(lián)合特征，最后與整個(gè)模塊的輸入進(jìn)行加和操作得到輸出的特征信息。

針對普通CNN 圖像壓縮網(wǎng)絡(luò)忽略了局部空間信息與光譜信息的問題。提出一種非對稱的卷積操作，針對空間方向上的水平和垂直方向以及光譜間的縱向進(jìn)行一維的卷積操作，提取局部的空間和光譜間特征，將局部關(guān)鍵特征以及光譜間特征集合到方核卷積中，實(shí)現(xiàn)全局信息、局部信息和光譜信息的結(jié)合。此操作不僅可以得到豐富的局部特征信息，還可以得到光譜之間的特征信息。局部卷積操作如圖5所示。

在提取局部空間和光譜間特征的同時(shí)，采用一般的2D 卷積提取全局的特征與局部特征相結(jié)合獲得全面的空間譜間特征。將平方卷積核分解為三個(gè)較小的一維卷積核來可以有效地減少模型參數(shù)的數(shù)量。

模塊的結(jié)構(gòu)如圖6 所示，基本模塊由一個(gè)ReLU激活函數(shù)和四個(gè)卷積層構(gòu)成，激活函數(shù)可以強(qiáng)化輸入特征的非線性變換，四個(gè)卷積層分別為卷積塊為3×3，1×3，3×1 大小的2D 卷積塊來提取全局和局部的空間特征，和一個(gè)卷積核大小為3×1×1 的3D 卷積塊來提取局部的光譜間特征。C1，C2，C3，C4分別代 表3×3，1×3，3×1 大小的2D 卷積操作以及3×1×1 的3D 卷積操作，C1在殘差學(xué)習(xí)的過程中受到C2，C3，C4的影響達(dá)到細(xì)化提取的局部關(guān)鍵特征，增強(qiáng)圖像壓縮網(wǎng)絡(luò)對局部細(xì)節(jié)的表達(dá)能力。使用xi表示第i 個(gè)卷積層輸出的特征，則SSC 可以表示為：

其中：xi-1為經(jīng)過SSC 輸出的特征張量，O代表SSC 模塊的輸出。同時(shí)SSC 的在編碼器和解碼器中的輸入輸出通道均為N。

2.4 熵模型

網(wǎng)絡(luò)使用了超先驗(yàn)來從潛在表示中捕獲副信息，以生成更準(zhǔn)確的熵模型。網(wǎng)絡(luò)采用了高斯尺度混合（GSM）先驗(yàn)概率模型［20］，GSM能夠在壓縮性能和模型復(fù)雜性之間達(dá)到更好的平衡，并且時(shí)間消耗較少。具體而言，為了確保足夠的靈活性以匹配變分后驗(yàn)，通過對預(yù)測的GSM和標(biāo)準(zhǔn)均勻噪聲進(jìn)行卷積來計(jì)算Y的參數(shù)先驗(yàn)概率模型：

在這里ψ(i)表示第i個(gè)完全因子化模型，該模型對應(yīng)于。因此，總比特包含壓縮的和，其可以定義為：

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

為了證明所提出的壓縮框架在具有不同波段數(shù)量和分辨率的數(shù)據(jù)集上的有效性，在實(shí)驗(yàn)中使用了兩個(gè)比特深度為16 bit的數(shù)據(jù)集。

第一個(gè)數(shù)據(jù)集來Landsat-8衛(wèi)星。由于第8個(gè)波段（15 m）的空間分辨率與其他波段（30 m）不同，因此選擇前7個(gè)波段。原始圖像覆蓋了中國的不同地區(qū)和季節(jié)，并被裁剪成128×128大小的10 800張圖像進(jìn)行訓(xùn)練。為了測試，從多個(gè)地區(qū)選擇了16張512×512大小的圖像。

第二個(gè)數(shù)據(jù)集是來自Sentinel-2衛(wèi)星的8波段數(shù)據(jù)集，其空間分辨率為20 m。同樣，選擇8 200張尺寸為128×128的圖像進(jìn)行訓(xùn)練，選擇16張尺寸為512×512的圖像進(jìn)行測試。在訓(xùn)練集和測試集之間沒有相同的圖像。所有的測試圖像都具有代表性，包含不同比例的各種場景。

3.2 訓(xùn)練條件

本文提到的模型都是由Adam優(yōu)化器在帶有Pytorch的NVIDIA GeForce RTX 3090 GPU上訓(xùn)練。

由于網(wǎng)絡(luò)中的主要參數(shù)和與因子化熵模型相關(guān)的輔助參數(shù)使用了兩個(gè)優(yōu)化器，對于主優(yōu)化器，學(xué)習(xí)率被初始化為1×10-4，當(dāng)在15的迭代內(nèi)沒有看到改善時(shí)，學(xué)習(xí)率以0.1的衰減率降低。

在訓(xùn)練期間，輔助學(xué)習(xí)率固定為1×10-3。批量大小設(shè)置為16。每個(gè)模型被訓(xùn)練了大約300次迭代，直到收斂。

訓(xùn)練網(wǎng)絡(luò)所采用的損失函數(shù)為率失真損失函數(shù)［11］其中失真損失采用最小均方誤差（Mean Square Error，MSE）損失，碼率損失采用公式（19）中所使用的碼率損失。

3.3 評價(jià)指標(biāo)

實(shí)驗(yàn)中既進(jìn)行了客觀評價(jià)，也進(jìn)行了主觀評價(jià)。使用上文提到的兩個(gè)數(shù)據(jù)集，根據(jù)廣泛使用的峰值信噪比(Peak Signal to Noise Ratio,PSNR)指標(biāo)，客觀地評估了提出的網(wǎng)絡(luò)架構(gòu)。具體來說，由于原始圖像的比特深度是16 bit，因此PSNR可以通過式（22）得到：

其中：DMSE(X，)為原始圖像與重建圖像間的最小均方誤差。此外，為了測量光譜的恢復(fù)質(zhì)量，引入了一種光譜指標(biāo)，即光譜角度（Spectral Angle,SA），也稱為光譜角度映射（Spectral Angle Mapping,SAM），它測量原始圖像和解壓縮圖像中對應(yīng)像素的兩個(gè)光譜矢量之間的角度。對于波段數(shù)為c，寬和高為w和h的原始圖像X和相應(yīng)的重建圖像SA的表達(dá)式如式（23）：

為了方便衡量，由MSA表示的一對圖像所有像素的平均SA，即：

在比特率相同的條件下，較大的PSNR值能夠表示出更好的壓縮性能。相反，較小的MSA值，解壓縮的頻譜向量越接近原始頻譜向量，表明壓縮的性能更好。

3.4 多尺度特征提取模塊性能測試

多尺度空間光譜間特征提取模塊用來提取不同尺度的光譜信息和空間信息進(jìn)行融合，此操作可以獲得特征之間的長距離關(guān)系。在此模塊中空間和光譜間各選擇兩個(gè)大小的卷積核，分別提取兩個(gè)尺度的特征信息。

為了選取適合大小的卷積核，對于空間特征提取所使用的卷積核在卷積核大小為5×5，7×7，9×9中進(jìn)行組合，光譜間特征提取所使用的在卷積核大小為5×1×1，7×1×1，9×1×1中進(jìn)行組合的條件下進(jìn)行SSC模塊的測試實(shí)驗(yàn)，所有實(shí)驗(yàn)均在比特率在0.5 bit左右的條件下，并且對Landsat-8數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。為了統(tǒng)一標(biāo)準(zhǔn)本文中所使用的比特率是比特/像素/波段。表1和表2分別顯示了在不同卷積核大小下模塊的性能。

表1 不同卷積核組合下的MSSA模塊PSNR指標(biāo)Tab.1 PSNR metrics for MSSA modules with different convolutional kernel sizes （dB）

表2 不同卷積核大小下的MSSA模塊的MSA指標(biāo)Tab.2 MSA metrics for MSSA modules with different convolutional kernel sizes （×10-3 rad）

經(jīng)過實(shí)驗(yàn)可以得到在空間光譜間卷積核大小分別在5×5，7×7，5×1×1，7×1×1時(shí)此模塊會取得最好的效果。將使用此卷積核大小的MSSA模塊應(yīng)用到壓縮模型中并且在Landsat-8數(shù)據(jù)集上測試率失真表現(xiàn)，與深度學(xué)習(xí)壓縮算法Scale-only，Mean&Scale，Joint以及傳統(tǒng)算法JPEG2000和3D-SPIHT進(jìn)行比較，其結(jié)果如圖7所示。從圖像可以看出加入MSSA的壓縮網(wǎng)絡(luò)結(jié)果優(yōu)于其他算法，并且在低比特率下效果更好。

3.5 空間譜間非對稱卷積塊模塊性能測試

對于空間譜間非對稱卷積模塊，其類似于網(wǎng)絡(luò)中的基礎(chǔ)模塊，可以在網(wǎng)絡(luò)中被多個(gè)引入［20］，實(shí)驗(yàn)主要目的為測試在Landsat-8數(shù)據(jù)集下，SSC模塊數(shù)量為2，3或4，碼率為0.5 bit左右時(shí)，SSC模塊的性能表現(xiàn)，其結(jié)果如表3所示。

表3 不同數(shù)量SSC模塊下的SSC模塊的PSNR指標(biāo)和MSA指標(biāo)Tab.3 PSNR metrics and MSA metrics for SSC modules with different numbers of SSC modules

當(dāng)引入模塊數(shù)量為3時(shí)網(wǎng)絡(luò)達(dá)到最佳性能。將3個(gè)SSC模塊應(yīng)用到壓縮模型中并且在Landsat-8數(shù)據(jù)集上測試率失真表現(xiàn)，其結(jié)果如圖8所示。從圖像可以看出加入SSC的壓縮網(wǎng)絡(luò)結(jié)果優(yōu)于其他算法，并且隨著比特率的增大其效果越明顯。

3.6 融合多尺度特征卷積神經(jīng)網(wǎng)絡(luò)性能測試

上述實(shí)驗(yàn)已經(jīng)驗(yàn)證了MSSA模塊以及SSC模塊的在多光譜圖像壓縮方面有效性，在本節(jié)中將對其進(jìn)行綜合測試，即對本文提出圖像壓縮網(wǎng)絡(luò)結(jié)構(gòu)在Landsat-8的7波段數(shù)據(jù)集和Sentinel-2的8波段數(shù)據(jù)集上進(jìn)行性能測試。圖9和圖10分別顯示了7波段和8波段數(shù)據(jù)集實(shí)驗(yàn)結(jié)果。圖9比較了Landsat-8衛(wèi)星數(shù)據(jù)集上各種模型解壓縮的重建圖像的PSNR以及MSA。數(shù)據(jù)顯示，提出模型的表現(xiàn)優(yōu)于其他算法，并隨著比特率的增大其效果越明顯。

圖1 多尺度空間譜間特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Multi-scale spatial inter-spectral feature extraction network structure

圖2 MSSA 模塊結(jié)構(gòu)Fig.2 MSSA module structure

圖3 組卷積示意圖Fig.3 Group convolution schematic

圖4 空間和譜間殘差塊Fig.4 Spacial and spectral residual blocks

圖5 SSC 三種卷積模式示意圖Fig.5 Schematic diagram of the three convolution modes of SSC

圖6 SSC模塊結(jié)構(gòu)Fig.6 SSC Module Structure

圖7 MSSA模塊測試結(jié)果Fig.7 MSSA module test results

圖8 SSC模塊測試結(jié)果Fig.8 SSC module test results

圖9 7波段數(shù)據(jù)的PSNR指標(biāo)和MSA指標(biāo)Fig.9 PSNR metrics and MSA metrics for 7-band data

圖10 8波段數(shù)據(jù)的PSNR指標(biāo)和MSA指標(biāo)Fig.10 PSNR metrics and MSA metrics for 8-band data

圖10比較了Sentialt-2衛(wèi)星數(shù)據(jù)集上各種模型解壓縮的重建圖像的PSNR以及MSA。JPEG2000和3D-SPIHT的數(shù)據(jù)將在表5中給出。數(shù)據(jù)顯示，提出模型同樣表現(xiàn)出最佳性能。提出模型比現(xiàn)有的基于超優(yōu)先級的模型更優(yōu)越，尤其是在高比特率下更為明顯，這表明更詳細(xì)的空間和光譜特征可以被所提出的網(wǎng)絡(luò)有效地捕獲。

表4和表5中分別給出了7波段和8波段測試集的PSNR，MSA結(jié)果。由于不同方法很難獲得相同的比特率，表中給出了6種方法在5種代表性比特率下的結(jié)果。此外，通過不同算法以相似的比特率解壓縮的重建圖像分別如圖11和12所示。每個(gè)測試圖像的一個(gè)復(fù)雜區(qū)域被突出顯示，以便進(jìn)行更清晰的比較，所有圖像所基于的比特率在0.4 bit左右。通過提出模型進(jìn)行解壓縮的重建圖像包含更多清晰的邊緣和紋理，在兩個(gè)數(shù)據(jù)集上都提供了最佳的視覺質(zhì)量。

表4 7波段測試集下的PSNR，MSA指標(biāo)Tab.4 PSNR，MSA metrics under 7-band test set

表5 8波段測試集下的PSNR，MSA指標(biāo)Tab.5 PSNR，MSA metrics under 8-band test set

圖11 Landsat-8數(shù)據(jù)集重建圖像示意圖Fig.11 Schematic of reconstructed image from Landsat-8 dataset

圖12 Sentinel-2數(shù)據(jù)集重建圖像示意圖Fig.12 Schematic of reconstructed image from Sentinel-2 dataset

3.7 復(fù)雜度分析

對模型復(fù)雜性進(jìn)行比較，表6展示了在Landsat-8數(shù)據(jù)集下不同算法的編碼和解碼時(shí)間的比較。

表6 各算法編解碼時(shí)間及計(jì)算量Tab.6 Codec time and computation for each algorithm

表中深度學(xué)習(xí)多光譜圖像壓縮算法具有可以在GPU平臺下進(jìn)行并行計(jì)算的特點(diǎn)，因此均在GPU平臺下測試其編解碼時(shí)間。

從表中可以看出，由于串行解碼的要求和較高的算法復(fù)雜性，Joint算法的編碼和解碼時(shí)間較長，計(jì)算量較大。相比之下，提出模型、Scale-only和Mean&Scale算法由于并行編解碼的特點(diǎn)，具有較低的編解碼時(shí)間。表格還提供了不同模型的浮點(diǎn)運(yùn)算次數(shù)（Floating-Point Operations per Second,FLOPs）。

需要注意的是，模型的并行度也會影響執(zhí)行時(shí)間，因此一些FLOPs較低的模型可能會消耗更長的編碼時(shí)間，例如Joint模型。而本文提出模型具有適度的FLOPs，并且在GPU上具有適中的執(zhí)行時(shí)間。該模型在適度的編解碼時(shí)間和計(jì)算量的基礎(chǔ)上顯著提高了圖像壓縮能力。

4 結(jié)論

在本篇論文中，提出了一種融合多尺度特征卷積神經(jīng)網(wǎng)絡(luò)用來壓縮多光譜圖像。為了提取到多光譜圖像中的空間特征和光譜間特征，提出了多尺度空間譜間特征提取模塊以及空間光譜非對稱卷積網(wǎng)絡(luò)模塊。實(shí)驗(yàn)表明所提出網(wǎng)絡(luò)與傳統(tǒng)多光譜圖像壓縮方法相比，PSNR指標(biāo)高于傳統(tǒng)算法1～2 dB，MSA指標(biāo)高于傳統(tǒng)算法（2～8）×10-3rad，能夠更好地提取多光譜圖像特征信息，使解壓縮圖像擁有更清晰的紋理和邊緣，提供了優(yōu)異的壓縮性能。并且在模型復(fù)雜度以及壓縮、解壓縮的時(shí)間上能夠達(dá)到更好的均衡效果。