基于深度殘差卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像超分辨方法

鄒長(zhǎng)忠，黃旭昇

(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 福州 350108)

0 引言

高光譜圖像是通過成像光譜儀，在紫外光、 可見光、 近紅外以及中紅外區(qū)域內(nèi)，對(duì)同一場(chǎng)景的目標(biāo)進(jìn)行成像，形成數(shù)十個(gè)甚至數(shù)百個(gè)光譜帶而得到的. 其不僅包含豐富的圖像信息，還包含光譜信息. 其中一些與自然圖像相似，例如目標(biāo)檢測(cè)、 圖像分類和圖像降噪； 有些還與自然圖像不同，例如光譜解混. 雖然高光譜圖像具有許多優(yōu)點(diǎn)，但其空間分辨率較低，降低了其在許多應(yīng)用上的可信度. 因而，提高高光譜圖像的分辨率是一個(gè)重要的科研問題.

目前高光譜圖像超分辨的方法大致可以分為兩類. 第一類是將低分辨率高光譜圖像(hyperspectral image,HSI)與輔助圖像(如高分辨率多光譜圖像(multispectral image, MSI))融合以獲得高分辨率高光譜圖像. 基于貝葉斯理論的融合模型作為一種經(jīng)典算法，在HSI超分辨中起著重要的作用，如Akhtar等[1]提出了貝葉斯稀疏表示的融合模型，該模型是通過將低分辨率HSI與對(duì)應(yīng)的MSI融合來估計(jì). 稀疏編碼也是一種有效的HSI超分辨方法，在圖像超分辨問題上具有廣泛的應(yīng)用，如Dong等[2]提出，首先通過低分辨率HSI學(xué)習(xí)高分辨率字典，然后將低分辨率HSI和MSI圖像進(jìn)行稀疏編碼，最后獲得估計(jì)的高分辨率HSI. 此外，正則化方法在HSI超分辨問題上也得到了廣泛應(yīng)用，如Simoes等[3]在HSI的融合問題中引入總變分正則，構(gòu)建的模型有效提高了圖像分辨率. 以上這些方法可以在一定程度上增強(qiáng)HSI的分辨率，但都需要借助于同一場(chǎng)景的輔助多光譜圖像, 而且要求兩類圖像要精準(zhǔn)配準(zhǔn)好，實(shí)際應(yīng)用中不容易滿足這些要求，從而使得此類方法具有一定的局限性.

第二類是單圖像超分辨率方法，它是從低分辨率HSI直接生成高分辨率HSI. 傳統(tǒng)的方法是使用雙三次插值等插值方法來對(duì)低分辨率HSI進(jìn)行插值得到最后的估計(jì)結(jié)果，其效果較差. 近年來，由于深度學(xué)習(xí)的飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在自然圖像處理中表現(xiàn)出了卓越的性能，由于自然圖像與高光譜圖像有其類似地方，目前已有部分學(xué)者將深度學(xué)習(xí)方法引入HSI超分辨問題上. 例如，Li等[4]提出了一種深度遞歸殘差網(wǎng)絡(luò)，該網(wǎng)絡(luò)學(xué)習(xí)將輸入的低分辨率HSI直接映射到高分辨率HSI映射網(wǎng)絡(luò)； Li等[5]還提出了一種網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)學(xué)習(xí)低分辨率HSI與高分辨率HSI的光譜差異之間的映射關(guān)系. 這些方法在一定程度上提高了圖像的分辨率，但其應(yīng)用的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，且表示性能有限，超分辨的效果有待進(jìn)一步提高.

本研究提出一種基于深度殘差卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像超分辨方法，可大大加強(qiáng)超分辨效果，具體分兩步. 第一步，通過自然圖像訓(xùn)練網(wǎng)絡(luò)以獲得代表低分辨率圖像和高分辨率圖像之間映射關(guān)系的模型； 第二步，結(jié)合遷移學(xué)習(xí)的思想，將模型應(yīng)用于高光譜圖像，以獲得高分辨率高光譜圖像.

1 提出方法

1.1 符號(hào)化

1.2 深度殘差卷積神經(jīng)網(wǎng)絡(luò)模型

由于深度卷積神經(jīng)網(wǎng)絡(luò)具有的強(qiáng)大的學(xué)習(xí)能力與表示能力，本研究使用深度殘差卷積神經(jīng)網(wǎng)絡(luò)(deep residual convolutional neural network, DRCNN) 來捕獲低分辨率圖像和高分辨率圖像之間的映射關(guān)系[6]. 基于DRCNN框架[6]，去除一些不必要的模塊，比如批標(biāo)準(zhǔn)化層，給出的網(wǎng)絡(luò)結(jié)構(gòu)由5個(gè)主要部分組成，包括Conv1，ResBlock，Conv2，Upscale4x以及Conv3，如圖1所示.

圖1 方法的框架流程圖Fig.1 Proposed frame flow chart

約定Conv(c,f,k,s,p)表示卷積層. 其中:c是輸入特征圖的數(shù)量；f是濾波器的數(shù)量；k是卷積內(nèi)核的大小；s是步長(zhǎng)；p是填充數(shù)量. 在網(wǎng)絡(luò)5個(gè)部分的卷積層，分別對(duì)這幾個(gè)參數(shù)賦予具體的值.

1) 第一部分包含一個(gè)卷積層Conv1(1, 256, 3, 1, 1)，該層用于對(duì)圖像進(jìn)行初始特征提取，由一個(gè)3×3的卷積內(nèi)核對(duì)輸入圖像進(jìn)行卷積運(yùn)算，將得到的結(jié)果輸入下一層.

2) 第二部分是殘差層，由32個(gè)殘差塊組成，每個(gè)殘差塊包含兩個(gè)卷積層和一個(gè)激活層，即Conv(256, 256, 3, 1, 1)-ReLU-Conv(256, 256, 3, 1, 1). 另外，殘差塊將輸入信息與輸出信息相加作為最終的輸出結(jié)果輸出到下一層.

3) 第三部分包含一個(gè)卷積層Conv2(256, 256, 3, 1, 1)作為網(wǎng)絡(luò)的過渡層，由一個(gè)3×3的卷積核對(duì)殘差層的輸出結(jié)果進(jìn)行卷積運(yùn)算，同時(shí)將結(jié)果與第一部分的輸出結(jié)果相加作為最終的輸出結(jié)果，輸出到下一層upscale4x層.

4) 第四部分是upscale4x層，由兩個(gè)卷積層和兩個(gè)Pixelshuffle層組成，將特征圖中的像素?cái)?shù)量增加4倍，即Conv(256, 256×4, 3, 1, 1)-PixelShuffle(2)-Conv(256, 256×4, 3, 1, 1)-PixelShuffle(2). 一個(gè)卷積層與一個(gè)Pixelshuffle層進(jìn)行組合可使得圖像的像素變?yōu)樵瓉淼?倍.

5) 第五部分包含一個(gè)卷積層Conv3(256, 1, 3, 1, 1)用于集成特征圖并輸出結(jié)果，并將輸出的結(jié)果作為超分辨結(jié)果.

1.3 模型訓(xùn)練

訓(xùn)練時(shí)采用DIV2K數(shù)據(jù)集，該數(shù)據(jù)集包含1 000個(gè)自然圖像，取其中部分圖像，通過以步長(zhǎng)為8對(duì)這些圖像進(jìn)行重疊切塊，得到大量的圖像塊，其大小為80 px×80 px×3，接著將RGB色彩空間的圖像轉(zhuǎn)為YCBCR色彩空間，并只取其中的Y通道，使得用于訓(xùn)練的樣本圖像是單通道. 然后對(duì)處理好的圖像塊，其大小為80 px×80 px×1，進(jìn)行雙三次插值下采樣，以得到輸入圖像樣本，其大小為20 px×20 px×1，同時(shí)將原始的高分辨率圖像塊作為輸入圖像樣本對(duì)應(yīng)的標(biāo)簽，輸入圖像及其對(duì)應(yīng)的標(biāo)簽組成訓(xùn)練樣本對(duì)，最后形成具有109 200對(duì)樣本對(duì)的訓(xùn)練數(shù)據(jù)集，并用于模型訓(xùn)練. 本文將自然圖像的亮度通道用于超分辨率，即YCBCR色彩空間中的Y通道. 其原因是使用單通道自然圖像作為輸入，以便于在將模型轉(zhuǎn)移到高光譜圖像域時(shí)，高光譜圖像可以逐帶進(jìn)入模型，即相當(dāng)于單通道進(jìn)入來重構(gòu)圖像.

(1)

式中：θ={W(t),b(t)|t=1, 2, …,T}表示DRCNN模型的參數(shù)，T表示層數(shù). 在本研究設(shè)計(jì)的模型中，使用L1Loss損失函數(shù)來計(jì)算損失L(θ)，即等式(1)； 使用Adam優(yōu)化器來更新參數(shù)θ.

1.4 將模型轉(zhuǎn)移到高光譜圖像域

低分辨率高光譜圖像生成模型可表示為

X=Y↓+n

(2)

式中：X∈Rm×n×L表示低分辨率高光譜圖像，其中m×n表示每個(gè)波段的像素個(gè)數(shù)，L表示光譜帶數(shù)；Y∈RM×N×L表示真實(shí)高光譜圖像； ↓代表下采樣操作，使用雙三次插值法進(jìn)行下采樣操作，下采樣因子為4.

(3)

式中：Xl∈Rm×n表示低分辨率高光譜圖像X的第l個(gè)波段的圖像.

2 實(shí)驗(yàn)部分

在本節(jié)中，將比較、 討論本研究方法與其他3種競(jìng)爭(zhēng)方法的實(shí)驗(yàn)結(jié)果，即在文獻(xiàn)[3]、 [5]和[8]中提出的方法，分別記為HySure，SDCNN和SRTL. 3個(gè)高光譜數(shù)據(jù)庫(kù)的放大倍數(shù)均為4. 在處理器為AMD Ryzen 7 2700X 3.7 GHz、 內(nèi)存32 GB主機(jī)上，基于PyTorch框架編寫代碼，使用NVIDIA GeForce GTX 1080 GPU運(yùn)行.

2.1 測(cè)試數(shù)據(jù)庫(kù)

為了有效地評(píng)估所提出方法的性能，研究使用3個(gè)包含地面真實(shí)物體和遙感圖像的數(shù)據(jù)庫(kù). 一是CAVE數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)是一個(gè)用于模擬GAP攝像機(jī)的多光譜圖像數(shù)據(jù)庫(kù)，包含各種各樣的真實(shí)材料和物體. 由32個(gè)尺寸為51 px×512 px×31的圖像組成，其中31是指光譜帶的數(shù)量，范圍從400～700 nm，步長(zhǎng)為10 nm. 二是Pavia數(shù)據(jù)庫(kù)，其包含ROSIS傳感器在意大利北部帕維亞上空進(jìn)行的一次飛行戰(zhàn)役中獲得的兩個(gè)場(chǎng)景：一個(gè)場(chǎng)景是帕維亞中心； 另一個(gè)場(chǎng)景是帕維亞大學(xué). 本研究選擇帕維亞大學(xué)的場(chǎng)景，其圖像尺寸為610 px×340 px×103. 由于該圖像的某些光譜帶不包含任何信息，因而選擇原始圖像較豐富的部分進(jìn)行測(cè)試，最終其圖像大小為256 px×256 px×93. 三是Washington Mall數(shù)據(jù)庫(kù)，該場(chǎng)景是華盛頓購(gòu)物中心，包含191個(gè)光譜帶，每個(gè)光譜帶具有1 280 px×307 px個(gè)像素點(diǎn). 該圖像包含了非常豐富的物體信息，可用于驗(yàn)證與高光譜圖像相關(guān)的處理.

2.2 實(shí)驗(yàn)參數(shù)設(shè)置及評(píng)估指標(biāo)

本研究使用pytorch框架來實(shí)現(xiàn)提出的網(wǎng)絡(luò)模型，在訓(xùn)練階段，參數(shù)batch_size設(shè)置為16，學(xué)習(xí)率lr設(shè)置為10-4，p設(shè)為0.9. 此外，使用L1Loss來計(jì)算損失，使用Adam優(yōu)化器來更新參數(shù)θ，以使訓(xùn)練損失降到最小.

研究使用6個(gè)圖像質(zhì)量評(píng)估指標(biāo)對(duì)重構(gòu)的高光譜圖像進(jìn)行全面評(píng)估，分別為峰值信噪比(PSNR)、 均方根誤差(RMSE)、 光譜角映射(SAM)、 合成中的相對(duì)無量綱整體誤差(ERGAS)、 通用圖像質(zhì)量指數(shù)(UIQI)和結(jié)構(gòu)相似度(SSIM). 從重構(gòu)圖像與原始圖像之間的像素值差、 結(jié)構(gòu)相似性、 光譜失真、 亮度失真等各個(gè)方面進(jìn)行比對(duì)，以達(dá)到準(zhǔn)確衡量重構(gòu)圖像質(zhì)量的目的.

2.3 實(shí)驗(yàn)結(jié)果

由于不可能顯示圖像的所有波段，因此僅選擇重建圖像中近似RGB波段的3個(gè)波段來構(gòu)建偽彩色圖像. 對(duì)于Pavia數(shù)據(jù)庫(kù)，選擇第5、 30和55個(gè)波段來構(gòu)造偽彩色圖像； 對(duì)于CAVE數(shù)據(jù)庫(kù)，選擇第5、 15和25個(gè)波段構(gòu)成偽彩色圖像； 對(duì)于Washington Mall數(shù)據(jù)庫(kù)，選擇第27、 42和52個(gè)波段來構(gòu)建偽彩色圖像.

表1～3為本文所提方法與其他3種競(jìng)爭(zhēng)方法在3個(gè)不同數(shù)據(jù)庫(kù)上的質(zhì)量指標(biāo)的比較. 圖2～4為本文所提方法與其他3種競(jìng)爭(zhēng)方法在3個(gè)不同數(shù)據(jù)庫(kù)上的偽彩色圖像的比較.

表1 評(píng)估指標(biāo)在CAVE數(shù)據(jù)庫(kù)上的比較Tab.1 Comparison of evaluation indicators on the CAVE database

表2 評(píng)估指標(biāo)在Pavia數(shù)據(jù)庫(kù)上的比較Tab.2 Comparison of evaluation indicators on the Pavia database

表3 評(píng)估指標(biāo)在Washington Mall數(shù)據(jù)庫(kù)上的比較Tab.3 Comparison of evaluation indicators on the Washington Mall database

圖 2 不同方法在Pavia數(shù)據(jù)庫(kù)上偽彩色圖像的比較Fig.2 Comparison of pseudo-color images on the Pavia database by different methods

圖3 不同方法在CAVE數(shù)據(jù)庫(kù)上偽彩色圖像的比較Fig.3 Comparison of pseudo-color images on the CAVE database by different methods

圖4 不同方法在Washington Mall數(shù)據(jù)庫(kù)上偽彩色圖像的比較Fig.4 Comparison of pseudo-color images on the Washington Mall database by different methods

從表1～3和圖2～4的實(shí)驗(yàn)結(jié)果可以看出，對(duì)于3種不同的地物信息的高光譜數(shù)據(jù)庫(kù)，在幾種質(zhì)量評(píng)價(jià)指標(biāo)上或者視覺的直觀感受上，本研究提出的方法對(duì)高光譜圖像超分辨的效果要比HySure、 SDCNN和SRTL方法要好，其效果具有明顯的優(yōu)勢(shì).

具體來說，在CAVE數(shù)據(jù)庫(kù)上，本研究提出的方法的PSNR值比HySure方法平均高了7.61，比SDCNN方法平均高了7.92，比SRTL方法平均高了12.43； 在Pavia數(shù)據(jù)庫(kù)上，本方法的PSNR值比HySure方法高了2.35，比SDCNN方法高了6.04，比SRTL方法高了0.55； 在Washington Mall數(shù)據(jù)庫(kù)上，本方法的PSNR值比HySure方法高了15.44，比SDCNN方法高了4.33，比SRTL方法高了3.25. 由此可見，本研究提出的方法與3種競(jìng)爭(zhēng)方法相比，具有明顯的優(yōu)勢(shì).

3 結(jié)語(yǔ)

研究提出一種基于深度殘差卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像超分辨方法，僅使用低分辨率高光譜圖像來重建高分辨率高光譜圖像. 所提出的方法使用改進(jìn)的深度殘差卷積神經(jīng)網(wǎng)絡(luò)，大大增強(qiáng)圖像的分辨率. 使用的模型減少一些不必要的模塊，比如批標(biāo)準(zhǔn)化層，不僅對(duì)超分辨效果沒有什么影響，還加快了模型的效率. 同時(shí)，運(yùn)用遷移學(xué)習(xí)的理論，將模型很好地應(yīng)用在高光譜圖像上，解決了高光譜圖像訓(xùn)練樣本不足問題，最后得到較好的重構(gòu)圖像效果. 通過在公認(rèn)的實(shí)際遙感數(shù)據(jù)集上實(shí)驗(yàn)，表明了本研究提出的方法比幾種方法具有更好的超分辨性能.