融合空譜-梯度特征的深度高光譜圖像去噪

李忠偉，張 浩，王雷全，任廣波，崔行帥

（中國石油大學（華東）海洋與空間信息學院，山東 青島 266580）

1 引 言

高光譜傳感器（也稱為成像光譜儀）能夠在幾個連續(xù)的窄波段收集地物的電磁光譜信息，生成具有上百個光譜波段的高光譜圖像（Hyperspectral Image，HSI）。與其他類型的遙感圖像相比，高分辨率遙感圖像包含了地物豐富的紋理、形狀、結(jié)構(gòu)和鄰域關(guān)系等信息［1］，目前成功應用于地物分類［2］，解混［3］，目標檢測［4］和變化檢測［5］等。然而，由于傳感器響應的不穩(wěn)定性和大氣等環(huán)境因素干擾，高光譜數(shù)據(jù)采集時會產(chǎn)生噪聲［6］，不僅降低了圖像質(zhì)量，也限制了后續(xù)圖像光譜信息解析的準確度［7］。因此，研究高效且穩(wěn)定的HSI恢復方法，對后續(xù)數(shù)據(jù)分析和處理進程具有重要意義［8-9］。

傳統(tǒng)的高光譜圖像去噪策略主要是基于二維圖像逐個譜段降低噪聲水平，如NLM方法［10］、非局部轉(zhuǎn)化方法［11］、小波變換方法［12］等，這些方法簡單地將HSI作為灰度圖像的疊加。然而，HSI相鄰譜段高度相關(guān)，相隔很遠的波段之間的特征差異很大，故逐帶方法會丟失譜域中的相似性和差異性，去噪結(jié)果往往會引入偽影或譜失真。為了獲得更好的去噪性能，必須考慮空間和頻譜相關(guān)性。譜帶之間的相關(guān)性通常被建模為低秩先驗［13-14］，而空間域中的相關(guān)性通常被建模為紋理構(gòu)造先驗，例如全變差正則化［15］，字典和稀疏表示［16］等，但是由于數(shù)學形式復雜，參數(shù)需要手工設置和調(diào)整，并且大量的數(shù)據(jù)先驗會使計算復雜度較高［17］。

隨著深度學習的快速發(fā)展，基于深度神經(jīng)網(wǎng)絡的HSI去噪算法備受關(guān)注［18］。由于卷積神經(jīng)網(wǎng)絡具有很強的特征擬合能力，基于離散余弦神經(jīng)網(wǎng)絡的方法較基于模型的灰度圖像方法，去噪效果更佳。張少磊等使用耦合狄利克雷自編碼器提取光譜特征和對應的空間信息重建HSI，將卷積神經(jīng)網(wǎng)絡作為正則化豐度矩陣的先驗，避免了傳統(tǒng)模型復雜的參數(shù)調(diào)整［19］。劉偉等使用三維卷積神經(jīng)網(wǎng)絡，通過保留相鄰譜帶的相關(guān)性和在空間域提取更多的像素特征來獲得更好的去噪性能［20］。Zhang等提出引入簡單梯度信息的SSGM網(wǎng)絡模型，用于多種HSI噪聲的去除［21］。Maffei提出一種單譜段去噪方法，多次下采樣降低參數(shù)量進行去噪［22］。Yuan等提出了端到端的HSID神經(jīng)網(wǎng)絡模型，結(jié)合殘差策略直接從噪聲圖像中估計清晰圖像［23］?；谏疃葘W習的HSI去噪算法依賴于GPU的并行計算能力和神經(jīng)網(wǎng)絡的深度結(jié)構(gòu)先驗建模能力，均取得了不錯的去噪性能。然而，大多數(shù)去噪算法是單獨譜段去噪，HSI譜段之間的強光譜相關(guān)性利用不足。其次，神經(jīng)網(wǎng)絡特征提取過程中較小的樣本感受野嚴重降低了全局空間相關(guān)性，空間信息損失過多。另外，隨著深度模型網(wǎng)絡深度的增加，深層網(wǎng)絡特征損失嚴重，反而降低深度回歸任務的準確度。事實上，因為HSI數(shù)據(jù)的高維性，設計高效的特征提取網(wǎng)絡來充分利用空譜相關(guān)性是一項重要挑戰(zhàn)。

本文提出了一種融合空譜-梯度特征的深度神經(jīng)網(wǎng)絡恢復HSI，它包括空譜特征網(wǎng)絡和梯度特征網(wǎng)絡兩部分。其中，空譜網(wǎng)絡由級聯(lián)的多尺度注意力殘差塊組成，用于提取基礎噪聲的分布特征。梯度網(wǎng)絡由級聯(lián)的普通卷積層組成，用于噪聲紋理結(jié)構(gòu)的精細識別。考慮到網(wǎng)絡深度和廣度的平衡，加深網(wǎng)絡的同時引入密集跳躍連接和可分離卷積策略進行優(yōu)化，匹配HSI高維譜信息進行精準噪聲擬合的同時，大幅減少中間層高特征維度映射過程中引起的過量參數(shù)，以提升網(wǎng)絡訓練性能。最終，設計有效的方法融合兩個網(wǎng)絡特征提取結(jié)果生成精準噪聲圖像，并用于恢復干凈圖像。

綜上，本文提出了一種端到端的空譜-梯度特征神經(jīng)網(wǎng)絡去噪方法。該方法以多譜段高光譜數(shù)據(jù)為輸入，級聯(lián)多尺度特征提取模塊提取到的空間和光譜信息為初始特征，以充分利用HSI中豐富的頻譜信息和每個頻帶的不同空間信息，經(jīng)過所提出的網(wǎng)絡直接恢復HSI。設計多尺度殘差注意力模塊（Multi-scale Attention Residual Block，MARB）提取圖像噪聲特征，并使用密集連接和可分離卷積策略平衡網(wǎng)絡的深度和廣度，以強化網(wǎng)絡特征提取性能。引入空譜梯度信息，利用空間梯度提取稀疏噪聲在水平和垂直方向上的獨特結(jié)構(gòu)方向性，利用譜梯度獲取譜段間附加互補信息以更好地降低噪聲。設計獨立的深度網(wǎng)絡獲取深層梯度特征，最終進行空譜特征和梯度特征的有效融合。實驗表明，所提出的模型不但對HSI有很好的去噪效果，對圖像內(nèi)部結(jié)構(gòu)的恢復上效果顯著，能夠很大程度上改善頻譜失真現(xiàn)象。

2 原 理

2.1 HSI退化模型

HSI是一組三維數(shù)據(jù)結(jié)構(gòu)h×w×c，其中h×w表示空間像素數(shù)目，c表示光譜譜段數(shù)目。HSI退化模型可以表示為：

其中：X表示真值圖像，V=[v1，v2，...，vc]表示加性噪聲，Y表示噪聲觀察圖像。特別地，對于加性高斯白噪聲，v n=ξ(0，σ2)，n∈[0，c]，σ表示標準正態(tài)分布的標準差。由于退化模型移項表示為X=Y-V，故HSI去噪實際上就是去除已知觀察噪聲圖像Y的加性噪聲V，從而恢復無噪圖像X。

2.2 融合空譜-梯度特征的HSI去噪模型

本文提出的HSI去噪網(wǎng)絡如圖1所示。該網(wǎng)絡輸入尺寸為h×w×c的HSI噪聲數(shù)據(jù)，通過端到端的學習，直接恢復相同尺寸的去噪結(jié)果。為了充分提取隨機分布噪聲的特征信息，整個網(wǎng)絡分為并行的兩個階段。

在第一階段，訓練了一個深度密集可分離卷積網(wǎng)絡，用來提取深層空譜噪聲特征信息。對輸入的通道數(shù)為K的噪聲數(shù)據(jù)，使用空間多尺度特征提取模塊（SM）提取多尺度空間特征信息，使用通道多尺度特征提取模塊（CM）提取多尺度光譜特征信息，特征提取模塊如圖2所示。然后，級聯(lián)特征提取結(jié)果，通過MARB進一步提取HSI噪聲信息，該模塊如圖3所示。所提出的網(wǎng)絡引入多個MARB，級聯(lián)不同MARB輸出結(jié)果的同時控制維度，這種優(yōu)勢在于噪聲特征重復利用以保證豐富的信息流，進而生成精簡模型以有效減少參數(shù)數(shù)量。考慮到噪聲分布特性，結(jié)合不同尺度的特征和特征注意模塊來捕捉各種噪聲成分是一種有效的方法。跳躍連接通常用在殘差鏈接塊中，因為它們可以在多個尺度上聚集特征并加速訓練過程。因此，密集連接MARB能夠更好地捕捉具有不同尺度的噪聲結(jié)構(gòu)信息。

圖1 融合空譜-梯度特征的神經(jīng)網(wǎng)絡架構(gòu)Fig.1 Spatial spectral gradient neural network model

在第二階段，訓練了一個梯度特征網(wǎng)絡，從不同的輸入噪聲數(shù)據(jù)中，分別提取K譜段的空間梯度信息和光譜梯度信息。SM模塊用于提取多尺度空間梯度特征信息，CM模塊用于提取多尺度光譜梯度特征信息，然后連接特征提取結(jié)果并輸入到一個十五層的深度卷積網(wǎng)絡模型中，這樣可以更好地表現(xiàn)噪聲在空間方向和光譜方向的梯度分布特性。整個梯度網(wǎng)絡中間層使用深度可分離卷積層，可以在維持特征提取層高通道數(shù)的同時大幅減少梯度網(wǎng)絡訓練參數(shù)。梯度網(wǎng)絡特征提取結(jié)果與空譜網(wǎng)絡特征提取結(jié)果加權(quán)融合，并使用單個卷積層擬合噪聲特征分布。梯度網(wǎng)絡實際上對空譜特征提取網(wǎng)絡噪聲的擬合起補充作用，并且梯度信息可以提升網(wǎng)絡訓練速度。最終，噪聲擬合結(jié)果V與輸入噪聲圖像Y相減獲得去噪結(jié)果X。

圖3 多尺度注意力殘差模塊Fig.3 Multi-scale attention residual block model

2.3 多尺度特征提取模塊

本文對空譜網(wǎng)絡和梯度網(wǎng)絡使用相同的多尺度特征提取模塊，如圖2所示?？紤]噪聲空間分布的不均勻性，SM模塊共設計6種大小不同的卷積核提取空間方向不同大小感受野的空間特征信息。首先使用大小為3×3，5×5，7×7的普通卷積（Conv）提取小范圍空間信息。對于更大范圍的空間信息提取，考慮到卷積核尺寸增大引發(fā)的過量參數(shù)會阻礙訓練過程，故分別用膨脹率d=4，5，6，大小為3×3的膨脹卷積（Dilated Conv），分別適應9×9，11×11，13×13的空間范圍。采用批量標準化函數(shù)（Batch Normalization，BN）作為歸一化層，緩解多尺度特征提取級聯(lián)結(jié)果過高維度引發(fā)的顯存壓力。BN實際上就是求單個批次訓練數(shù)據(jù)的均值和方差以進行數(shù)據(jù)標準化，它可以很好地避免淺層網(wǎng)絡梯度過小問題以增加網(wǎng)絡的學習速率。歸一化結(jié)果導入非線性激活層，引入該層是為了從卷積輸出數(shù)據(jù)中提取激活特征圖像。非線性激活層由多種激活函數(shù)實現(xiàn)，如tanh，sigmoid或整流線性單元（ReLU）等，從學習速度角度出發(fā)，本文使用Re-LU激活函數(shù)。SM模塊特征提取基本結(jié)構(gòu)可以總結(jié)為Conv→級聯(lián)→BN→ReLU，其輸出可以表示為：其中：FSM指的是SM模塊的輸出，F(xiàn) n×n表示對輸入特征進行卷積核大小為n×n的普通卷積運算，F(xiàn) d=kn×n表示對輸入特征進行卷積核大小為n×n、膨脹率為k的膨脹卷積運算，C(·)表示特征級聯(lián)運算，BN(·)表示批量標準化函數(shù)運算，σ(·)表示ReLU激活函數(shù)運算。

區(qū)別于自然圖像，HSI具有高通道數(shù)的特點，CM模塊可以在控制空間方向特征不損失的情況下，單獨提取多尺度通道特征以擬合噪聲光譜分布情況。該模塊使用大小為5×1×1，7×1×1，9×1×1的三維卷積（3D Conv）分別提取多尺度通道特征信息并級聯(lián)，大小為1×1×1的三維卷積對結(jié)果進行降維，最后使用大小為3×3的普通卷積控制輸出通道數(shù)目。CM模塊特征提取基本結(jié)構(gòu)可以總結(jié)為3D Conv→級 聯(lián)→3D Conv→ReLU→Conv→BN→ReLU，其輸出可以表示為：

其中：FCM指的是CM模塊的輸出，F(xiàn) n×1×1表示卷積核大小為n×1×1三維卷積運算。隨著網(wǎng)絡深度的增加，多尺度特征級聯(lián)結(jié)果能更好地逼近噪聲分布。

2.4 MARB

多尺度特征有效地結(jié)合了不同尺度上的特征，被廣泛用于獲取更好的物體及其周圍環(huán)境的信息。注意力機制能夠增強回歸任務提取信息的能力，這有利于提高網(wǎng)絡準確性。受這些思想的啟發(fā)，MARB用注意力模塊指導多尺度特征提取結(jié)果以有效學習噪聲信息。如圖3所示，對于輸入特征Fin，MARB使用大小為3×3，組數(shù)為120的可分離卷積和大小為3×3，組數(shù)為120，膨脹率為2的膨脹卷積分別提取初始特征。然后，各特征提取結(jié)果交叉進行這兩種類型的卷積運算，生成4個不同卷積組合順序的特征圖。這種交叉特征提取方式既能保證輸入信息可以通過所有參數(shù)層傳播，使得MARB可以通過不同尺度的特征來學習噪聲初級特征，同時又提取到卷積層不同組合順序的噪聲結(jié)構(gòu)特征。另外，由于噪聲密度分布模式在不同通道上變化很大，因此BCP先驗［24］可能是獲得通道特征的不同加權(quán)信息的有效方法。經(jīng)發(fā)現(xiàn)，與同等對待不同通道的方法相比，具有BCP的通道式注意方案可以幫助網(wǎng)絡更好地保持原噪聲圖像中的像素亮度。因此，通道注意力可以捕捉噪聲區(qū)域并幫助提取重要通道特征。同時，由于噪聲的分布幾乎是不均勻的，在不同的空間位置可能會有所不同，故空間注意力對噪聲區(qū)域的識別也很重要。本文融合4個組合的特征提取結(jié)果，并使用大小為1×1的普通卷積控制通道數(shù)目，再使用大小為3×3，組數(shù)為120的可分離卷積提取噪聲擬合結(jié)果，然后依次通過通道注意力（Channel Attention，CA）和空間注意力（Spatial Attention，SA）模塊獲得深層特征注意力結(jié)果。最終與該模塊輸入特征Fin進行跳躍殘差連接獲得MARB輸出特征FMARB，可以表述為：

其中：G表示Conv/Dilated Conv→BN→ReLU組合運算分別表示3×3的普通卷積組合運算和膨脹率為2的3×3膨脹卷積組合運算，sa(·)，ca(·)分別表示空間注意力和通道注意力運算。圖4（a）展示了BCP通道注意力提取方案，圖4（b）展示了BCP空間注意力提取方案。MARB能夠強化噪聲特征信息的組合和重構(gòu)。

圖4 BCP注意力模塊Fig.4 BCP attention blocks

2.5 密集連接和可分離卷積策略

深度學習中，增加網(wǎng)絡的深度和廣度，本質(zhì)上都是在增加可學習參數(shù)的個數(shù)，從而增加網(wǎng)絡的擬合能力。最佳網(wǎng)絡設計便是追求深度和廣度的平衡。目前，大多處理HSI的神經(jīng)網(wǎng)絡模型多是單一地增加深度或者廣度，兩者結(jié)合的模型十分少見，主要是因為梯度消失和梯度爆炸導致網(wǎng)絡深度比較大的時候難以訓練。另外，網(wǎng)絡各層參數(shù)數(shù)量與當前層輸出通道數(shù)目正相關(guān)，特別對于高通道數(shù)量的HSI，極大地增加了計算復雜度，故很難實現(xiàn)相關(guān)網(wǎng)絡深度和廣度的高效平衡。

本文使用10個密集連接的MARB以提升網(wǎng)絡深度，每個MARB輸入特征通過級聯(lián)前面所有MARB的輸出特征獲得。為了減少成倍數(shù)增加的特征通道數(shù)，每個MARB結(jié)束后均加入一個大小為1×1的普通卷積層控制輸出通道數(shù)目。這種密集連接方式能很大程度地提升MARB噪聲特征的提取性能，有助于反向傳播梯度來更新參數(shù)，同時跳躍級聯(lián)重復利用噪聲特征以保證網(wǎng)絡豐富的信息流，并大幅降低參數(shù)量。

盡管如此，更深更復雜的網(wǎng)絡還是會造成數(shù)據(jù)計算量更高，顯存負荷過載嚴重?？紤]到HSI豐富的光譜信息，本文使用可分離卷積，在維持網(wǎng)絡高廣度的條件下能夠減小網(wǎng)絡參數(shù)量。換句話說，相同的參數(shù)條件下，利用可分離卷積策略能夠獲得更深更廣的網(wǎng)絡模型。在普通卷積運算中，對于一個卷積核，它與所有輸入特征進行卷積運算，最終求和產(chǎn)生單通道輸出特征，N個卷積核則產(chǎn)生N個通道的輸出特征。可分離卷積實際上就是對輸入特征通道進行分組，每組對應一個卷積核，該卷積核與且只與該組內(nèi)所有輸入特征進行卷積運算核求和，故N個卷積核仍能產(chǎn)生N個通道的輸出特征，而參數(shù)計算量卻減少到原來的1/N。特別地，本文使用的深度可分離卷積運算組數(shù)被設置為輸入特征通道數(shù)目，最大限度降低參數(shù)量的同時保證網(wǎng)絡的高效無損信息流。

2.6 HSI梯度信息

雖然深度學習方法在HSI去噪領(lǐng)域取得了卓越性能，但是大多數(shù)去噪網(wǎng)絡無法準確提取噪聲，很難恢復圖像邊緣和內(nèi)部紋理結(jié)構(gòu)。考慮到噪聲分布的無規(guī)律性，圖像高紋理區(qū)域的像素信息可以表述為噪聲梯度信息?？臻g梯度信息由于其獨特的結(jié)構(gòu)方向性，在一定程度上可以有效突出稀疏噪聲。由于高光譜數(shù)據(jù)包含數(shù)百個波段的豐富光譜信息，每個譜段的噪聲水平和類型通常不同，光譜梯度差異提供了額外的補充信息。故充分利用空間梯度和光譜梯度信息，對恢復HSI具有重要意義。

本文使用Sobel濾波器［25］計算空間梯度信息，該濾波器由一個水平過濾器SH和一個垂直過濾器SV組成，表示如下：

通過計算SH，SV和輸入圖像X間的卷積，可以獲得水平梯度GH和垂直梯度GV。這個過程可以寫成：其中，“*”表示卷積運算。本文對水平梯度和豎直梯度進行先平方和再開根號的運算，獲得最終空間梯度信息GS，表示為：

本文利用相鄰通道像素值作差獲取圖像光譜梯度信息GC，表示為:

其中m，n，k表示三維圖像X的像素坐標。本文級聯(lián)融合空間梯度和光譜梯度信息，并訓練獨立的梯度網(wǎng)絡，最終輸出梯度特征提取結(jié)果FG_OUT，表示為：

其中：F n{·}表示第n個Conv→BN→ReLU組合運算，卷積層使用組數(shù)為120的3×3深度可分離卷積；?表示相鄰兩個網(wǎng)絡層組合F n，F(xiàn) n-1之間的特征映射變換。

梯度網(wǎng)絡輸出結(jié)果FG_OUT與空譜特征網(wǎng)絡輸出結(jié)果FM_OUT加權(quán)融合生成FOUT，表示如下：

其中θ表示權(quán)重常量。然后對FOUT使用一個3×3的普通卷積整合特征，獲得噪聲評估特征V，并與網(wǎng)絡輸入Y進行長期跳躍相減運算，以通過整個網(wǎng)絡直接傳播無損信息恢復K通道HSI去噪結(jié)果X。

2.7 損失函數(shù)

均方誤差（Mean Square Error，MSE）廣泛用于評估去噪圖像及其對應的真值圖像區(qū)別的損失函數(shù)。對給定的輸入噪聲圖像Y，其對應的真值圖像X'，經(jīng)過所提出的網(wǎng)絡輸出去噪圖像X。因此像素級均方誤差損失可定義如下：

其中H，W，C分別表示HSI的高度、寬度和通道數(shù)目。然而，MSE通常會導致高頻紋理的模糊和過度平滑，故單獨使用它對去除噪聲和恢復圖像內(nèi)容具有很大的局限性。為了解決上述問題，本文將圖像結(jié)構(gòu)相似性（Structural Similarity，SSIM）引入損失函數(shù)計算，即結(jié)合MSE損失和SSIM損失作為網(wǎng)絡總損失函數(shù)，以平衡圖像去噪性能和保持圖像內(nèi)部結(jié)構(gòu)。SSIM是衡量兩幅圖像X與X'結(jié)構(gòu)相似程度的重要指標［26］，即：

其中：μX，σX分別表示X的均值和標準差，X與X'之間的協(xié)方差表示為σXσX'，C1，C2是平衡方程的常量。SSIM的取值是0～1，在圖像恢復過程中，較大的數(shù)值則表明結(jié)果圖像更類似真值圖像，因此SSIM損失可以定義為：

總混合損失L經(jīng)LMSE和LSSIM加權(quán)求和，結(jié)果表示為：

其中λ是能夠平衡MSE損失和SSIM損失之間權(quán)重的超參數(shù)。通過適當?shù)脑O置，混合損失可以在保持全局結(jié)構(gòu)的同時保證每個像素的相似性，這有助于去噪模型恢復圖像。根據(jù)經(jīng)驗，本文設置λ=0.2。

3 實 驗

本文提出的模型在下述服務器上運行：操作系統(tǒng)Ubuntu18.04.3，CPU處理器Intel（R）Core（TM）i7-9700K CPU@3.60 GHz，GPU顯 卡NVIDIA RTX 2070 Super GPU，基于深度學習框架Pytorch1.3。

3.1 實驗數(shù)據(jù)及預處理

本文使用HSI公開數(shù)據(jù)集對所提算法模型的有效性進行訓練和評估。訓練時，本文選擇HYDICE機載傳感器獲取的Washington DC Mall的一部分作為訓練數(shù)據(jù)。該傳感器共包括0.4～2.4μm紅外光譜中的210個光譜帶，其中去除存在嚴重大氣干擾的0.9～1.4μm的譜段，共剩有191個譜段。該高光譜數(shù)據(jù)集尺寸為1 208×307×191，在該數(shù)據(jù)集上加入合成噪聲，并切割200×200×191的數(shù)據(jù)用于測試模型，剩余部分用于訓練網(wǎng)絡。

由于HSI像素值表示反射率，故用于訓練網(wǎng)絡的數(shù)據(jù)首先需要進行歸一化處理，即每個譜段的像素值縮放到［0，1］之間。另外，考慮到對比實驗需要控制參數(shù)變量，本文將網(wǎng)絡輸入通道數(shù)設定為K=24。本文設置訓練數(shù)據(jù)集切片尺寸為20×20，切割步長等于20，并且對數(shù)據(jù)切片進行包括旋轉(zhuǎn)、翻折、放縮等在內(nèi)的數(shù)據(jù)增強操作，最終共生成真值圖像切片198 648個。通過向真值圖像切片添加不同方差水平的高斯白噪聲來合成噪聲切片，噪聲標準差（σ）設置為25，50和100，保證網(wǎng)絡能夠?qū)W習不同的噪聲配置，避免訓練過程中出現(xiàn)數(shù)據(jù)冗余問題。由于數(shù)據(jù)集做過歸一化處理，故高斯噪聲分布實際使用的標準差σ'=σ/255.0。所提出的模型使用Adam優(yōu)化器訓練，整個訓練過程共迭代100次，學習率初始化為0.001，并且每迭代30次學習率衰減0.5，每個批次送入128個噪聲-真值切片組。為了提高模型收斂速度，本文使用Kaiming分布［27］初始化卷積層和激活層參數(shù)，BN層初始化權(quán)重值約束為［-0.025，0.025］，初始偏移量值設置為0。

為了評估所提出方法的有效性，測試實驗分為合成噪聲實驗和真實噪聲實驗兩部分。本文使用從Washington DC Mall數(shù)據(jù)集剪裁的200×200×191的部分進行合成噪聲實驗，對該測試數(shù)據(jù)分別添加一定標準差的高斯白噪聲，分別評估同樣噪聲水平下訓練好的模型的去噪效果。

這里選擇Indian Pines數(shù)據(jù)集和Cave數(shù)據(jù)集進行真實噪聲實驗。由于傳感器本身局限和大氣等環(huán)境干擾的影響，兩個數(shù)據(jù)本身具有一定水平的噪聲。參考已有的HSI去噪方法，選擇訓練完成的σ=50的去噪模型進行去噪效果測試。Indian Pines數(shù)據(jù)集由機載可見紅外成像光譜儀（AVIRIS）獲得，由145×145個像素和220個光譜帶組成。在去除吸水帶（第104～108、第150～163和第220譜段）后，剩余的200個譜帶被保留用于實驗，圖像分辨率為145×145×200。Cave數(shù)據(jù)集由Cooled CCD相機獲得，譜段為400～700 nm，圖像分辨率為512×512×31，兩個數(shù)據(jù)集均進行歸一化處理。

3.2 性能評價標準

本文使用平均峰值信噪比（Mean Peak Signal to Noise Ratio，MPSNR）、平均結(jié)構(gòu)相似性指數(shù)（MSSIM）來評估所提出模型的去噪效果，這兩個度量指標常用作評價HSI回歸任務的擬合性能。兩幅圖像X和X'之間的峰值信噪比

（PSNR）為：

其中：MAX2X為X最大像素值，MSE XX'為X與X'之間的均方誤差。各譜段的PSNR和SSIM的平均值分別表示為MPSNR和MSSIM。

本文可視化比較不同算法的去噪結(jié)果，選擇少數(shù)譜段數(shù)據(jù)生成偽彩色圖像以保證高的視覺質(zhì)量。為了分析去噪圖像的后續(xù)處理性能，使用機器學習SVM算法分別對去噪前后的HSI進行分類驗證。

3.3 實驗結(jié)果比較與分析

用本文所提方法與幾個當前主流的HSI去噪方法進行比較，包括HSSNR方法［12］，ITSReg方 法［16］，BM 4D方 法［15］，LRMR方 法［14］，HSIDCNN方法［21］，就指標值和視覺效果進行評估。

3.3.1 合成噪聲實驗結(jié)果與分析

給定σ={25，50，100}，合成噪聲實驗結(jié)果如表1所示，最佳指標值以粗體顯示?？梢悦黠@看出，除了在噪聲水平σ=100條件下MPSNR偏低，所提出的算法基本在所有噪聲水平中表現(xiàn)出最高MPSNR和MSSIM。特別在σ=50的噪聲水平下，所提出方法獲得的MPSNR相比于HSID方法提升0.458 dB，MSSIM提升0.014 2 dB。盡管算法對高強度噪聲沒有獲得最好的MPSNR，但是仍能取得最好的MSSIM，也證實所提出模型對圖像內(nèi)部結(jié)構(gòu)具有很強的恢復能力。

表1 合成噪聲實驗去噪結(jié)果對比Tab.1 Comparison of denoising results of different methods in synthetic noise experiment

圖5 展示了噪聲水平σ=50條件下不同算法的去噪效果。本文選擇57，27和17三個譜段的噪聲圖像、真值圖像和去噪結(jié)果分別組成各自的偽彩色圖像，對方框內(nèi)部細節(jié)放大顯示。其中，圖5（a）表示添加噪聲水平σ=50的合成噪聲圖像，圖5（b）表示真值圖像，圖5（c）～5（g）分別表示其他對比算法的去噪結(jié)果，圖5（h）表示所提出方法的去噪結(jié)果?？梢钥闯?，HSSNR獲得的去噪圖像存在明顯的殘留噪聲，ITSReg和BM 4D的去噪效果不理想，且獲得的圖像表現(xiàn)得較為模糊。LRTA，HSID及所提出的算法均取得了不錯的去噪效果，但是觀察放大區(qū)域，LRTA在圖像紋理細節(jié)的保持上效果不佳，受周圍地物影響偽影效果明顯。另外，觀察到底部白色邊緣，HSID受邊緣高亮區(qū)域影響仍具有偽影現(xiàn)象，而本文所提出的方法對紋理細節(jié)特征具有更佳的抓取能力，圖像恢復效果最好。這是因為本文方法利用了從輸入噪聲級圖中給出的更多先驗信息，跳躍鏈接保證信息層級重復利用，使得網(wǎng)絡在去噪性能和內(nèi)部結(jié)構(gòu)恢復之間保持良好的平衡。

由于高光譜數(shù)據(jù)譜段多，為了更好地評估單譜段去噪效果，本文選擇可視化展示所提出算法和HSID算法在噪聲水平σ=50下，全譜段去噪結(jié)果的PSNR和SSIM。如圖6所示（彩圖見期刊電子版），藍線和黃線分別代表本文算法結(jié)果和HSID算法結(jié)果，可以看出，兩個算法單譜段PSNR峰值和低值表現(xiàn)相似，這與高光譜傳感器不同譜段的成像特點高度相關(guān)。不確定度分析全譜段數(shù)據(jù)可以看出，本文算法結(jié)果均值優(yōu)于HSID算法結(jié)果。雖然本文算法全譜段的PSNR標準差為0.773，高于HSID方法的0.596，但是全譜段的SSIM標準差為0.017，低于HSID方法的0.034，這也進一步說明本文算法對紋理結(jié)構(gòu)的恢復效果穩(wěn)定，特別是在高頻區(qū)域和低頻區(qū)域，本文算法單譜段的去噪指標更高且更穩(wěn)定。另外，SSIM曲線的穩(wěn)定也表明本文對圖像紋理結(jié)構(gòu)的恢復效果更佳，并且在大多數(shù)譜段具有更高的去噪峰值。

3.3.2 真實噪聲實驗結(jié)果與分析

Indian Pines數(shù)據(jù)集本身具有明顯的噪點和條紋，故直接對原圖像進行去噪實驗。使用第2譜段數(shù)據(jù)可視化顯示所提出的算法對比其他算法的去噪結(jié)果，如圖7所示，方框區(qū)域在右上角放大顯示。對比發(fā)現(xiàn)，HSSNR算法和ITSReg算法的去噪圖像很模糊，圖像嚴重失真。BM 4D算法可以減少一些噪聲，但一些密集的噪聲和條紋仍然保留在恢復的結(jié)果中。LRTR算法雖然接近原圖像，但仍具有偽影現(xiàn)象，一些詳細的信息同時被平滑和丟失。HSID算法和本文算法的去噪效果最為顯著，但是，HSID算法結(jié)果保持著高亮度，這也造成細節(jié)結(jié)構(gòu)不明顯，相比本文算法表現(xiàn)最好，有效地消除了噪點和條紋，同時保留了HSI內(nèi)部結(jié)構(gòu)信息。

圖6 σ=50條件下不同譜段的去噪結(jié)果Fig.6 Denoising results of different wavebands inσ=50

圖7 Indian Pines數(shù)據(jù)集不同算法的去噪結(jié)果Fig.7 Denoising results of different algorithms of Indian Pines data set

圖8 Cave數(shù)據(jù)集的去噪結(jié)果Fig.8 Denoising results of Cave data set

為了進一步評估所提出算法恢復圖像內(nèi)部結(jié)構(gòu)的能力，這里選擇4幅Cave噪聲圖像，分別使用HSID算法和所提出算法進行去噪以獲取去噪結(jié)果，如圖8所示?？梢钥闯觯趦煞N顏色過渡區(qū)域，HSID算法容易丟失邊緣細節(jié)，產(chǎn)生一定程度的模糊。另外，與周圍背景區(qū)域區(qū)別度較小的顏色，HSID算法很難還原，甚至直接恢復成背景顏色。本文算法有效地去除了噪聲，同時保留了局部細節(jié)和結(jié)構(gòu)信息，沒有明顯的過度平滑，能更好地恢復過渡顏色。

為了驗證去噪圖像的后續(xù)處理性能，本文選擇Indian Pines數(shù)據(jù)集，并使用SVM分類器分別將所提出算法去噪前后的圖像進行分類。分類效果使用總體精度（Overall Accuracy，OA）和Kappa系數(shù)兩個指標進行評測，如表2所示。OA表示被正確分類的類別像元數(shù)與總的類別個數(shù)的比值，Kappa系數(shù)代表著分類與完全隨機的分類產(chǎn)生錯誤減少的比例，兩個值越大代表分類準確度越高。該數(shù)據(jù)集的分類結(jié)果如圖9所示。對比圖9（a）和圖9（b）可以看出，原圖像的分類結(jié)果存在大量誤分類像素點，特別是在同類別內(nèi)部更加明顯。藍色類識別效果極差，分類指標OA和Kappa分別只有80.74%和0.780 2。對于本文算法去噪圖像的分類結(jié)果，OA和Kappa得到顯著提升，藍色區(qū)域得到正常識別，這是因為Indian Pines數(shù)據(jù)集不同地物類別呈塊狀分布，塊內(nèi)噪點就會造成該類內(nèi)部的誤分類，而藍色類作為作物混生區(qū)，同物異譜現(xiàn)象造成嚴重的偽影。本文算法能夠更好地提取類別塊內(nèi)部結(jié)構(gòu)，塊內(nèi)噪點去除明顯，故分類性能明顯提升，OA和Kappa達到90.89%和0.888 4，分別提升10.15%和0.108 2。故本文提出的去噪算法在有效恢復HSI質(zhì)量的同時，對后續(xù)圖像應用處理上也具有很強的潛力。

圖9 Indian Pines數(shù)據(jù)集的分類結(jié)果Fig.9 Classification results of Indian Pines data set

表2 Indian Pines數(shù)據(jù)集分類結(jié)果評價Tab.2 Evaluation of classification results of Indian Pines data set

3.4 實驗超參數(shù)設置評價與分析

3.4.1 梯度信息融合

為了確定網(wǎng)絡中梯度信息的最佳融合位置和融合方式，本文對比分析了4種融合策略，包括：A 0單一空譜網(wǎng)絡；A 1對空譜多尺度特征提取結(jié)果和梯度多尺度特征提取結(jié)果先直接級聯(lián)，再經(jīng)過密集連接的MARB；A 2對密集連接MARB結(jié)果和梯度多尺度特征提取結(jié)果直接級聯(lián)；A 3則使用本文獨立的梯度特征網(wǎng)絡，然后使用θ加權(quán)融合空譜特征和梯度特征，如式（16）所示；另外，為了獲得最佳權(quán)重參數(shù)θ，這里又設計了3組不同權(quán)重的實驗A 3-1，A 3-2和A 3-3，對應的θ值分別為0.1，0.2和0.3。實驗在噪聲水平σ=25的條件下進行3次并取平均值，結(jié)果如表3所示，最佳結(jié)果加粗顯示。對比發(fā)現(xiàn)，A 0結(jié)果取得最低實驗指標值；A 1，A 2和A 3-2三組均取得不錯的實驗效果，A 3-2實驗獲得的最大MPSNR值為33.439 dB和最大MSSIM值為0.983 2 dB，這與噪聲中梯度信息的影響能力有關(guān)。圖10繪制了這三組實驗訓練模型過程中損失函數(shù)的變化曲線，可以看出，A 3-2實驗組網(wǎng)絡收斂最快且穩(wěn)定，這也證明了本文所使用的梯度特征和空譜特征融合方式的高效性。

表3 梯度融合實驗結(jié)果Tab.3 Experimental results of gradient fusion

3.4.2 參數(shù)量分析

圖10 損失函數(shù)變化曲線Fig.10 Change curve of loss function

表4 密集連接參數(shù)量分析Tab.4 Parameter analysis of dense connection（MB）

本文使用密集連接和可分離卷積策略降低網(wǎng)絡參數(shù)。表4給出了使用可分離卷積策略時，不同MARB在使用密集連接策略前后的參數(shù)量。從10個MARB塊中選擇第1，3，8，9，10個MARB用于統(tǒng)計參數(shù)量，可以看出，本文密集連接方法可以很好地避免MARB參數(shù)的膨脹增長。從最后一個MARB可以看出，失去密集連接后參數(shù)量膨脹嚴重，使用密集連接的參數(shù)量比直接連接減少98%左右。為了證明可分離卷積策略的有效性，本文分別統(tǒng)計所提出模型使用普通卷積和使用可分離卷積的參數(shù)情況，并與梯度去噪網(wǎng)絡SSGN［21］進行比較，結(jié)果如表5所示。由于本文算法的網(wǎng)絡深度及廣度均比較大，使用可分離卷積前后網(wǎng)絡訓練參數(shù)量變化顯著，網(wǎng)絡參數(shù)量基本達到20倍的差值。相比于SSGN方法，盡管復雜的網(wǎng)絡產(chǎn)生更多的梯度求導運算過程，但是參數(shù)量和模型大小減小到1/3?？煞蛛x卷積最大限度壓縮網(wǎng)絡模型大小到2.06 MB，這在復雜網(wǎng)絡模型的保存上具有優(yōu)勢。因此，密集連接和可分離卷積策略實現(xiàn)了所提出模型在高效特征提取性能下網(wǎng)絡廣度和深度的平衡。

表5 可分離卷積參數(shù)量分析Tab.5 Parameter analysis of separable convolution （MB）

4 結(jié) 論

本文提出了一種基于深度學習的HSI去噪方法，通過深度空譜-梯度網(wǎng)絡學習噪聲圖像和真值圖像之間的非線性端到端映射，以更好地利用空間信息、光譜信息和梯度信息恢復圖像。其中，多尺度特征提取模塊用于捕獲多尺度特征，MARB更好地集中噪聲空譜特征，密集連接和可分離卷積策略優(yōu)化模型規(guī)模，多尺度梯度信息進一步豐富噪聲特征。合成數(shù)據(jù)實驗和真實數(shù)據(jù)實驗表明，該方法在評價指標、視覺效果上均優(yōu)于多數(shù)主流方法。特別地，本文算法對圖像紋理結(jié)構(gòu)恢復效果顯著，在σ=50噪聲水平下獲得29.426 d B的PSNR、0.967 8 d B的SSIM以及90.389%的SVM分類精度。在未來的工作中，我們將研究更有效的網(wǎng)絡學習結(jié)構(gòu)來消除HSI中的混合噪聲，如條帶噪聲、脈沖噪聲和死線等。