文物高光譜數(shù)據(jù)采集及其多尺度多支路融合增強(qiáng)方法

彭進(jìn)業(yè),張涵毓,付毅豪,張群喜,劉 璐,王 珺

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;2.陜西歷史博物館,陜西 西安 710061；3.陜西省絲綢之路文化遺產(chǎn)數(shù)字化保護(hù)與傳承協(xié)同創(chuàng)新中心,陜西 西安 710127;)

通過(guò)光學(xué)成像記錄文物形貌是文物數(shù)字化最常用的方式之一。其中,最常用的方式是通過(guò)數(shù)碼相機(jī)采集紅、綠、藍(lán)3個(gè)波段的信息,獲取RGB三通道圖像,記錄現(xiàn)有文物的形貌特點(diǎn)。然而,隨著光學(xué)成像方法的不斷發(fā)展,越來(lái)越多的成像方式應(yīng)用于文物保護(hù)分析中。其中,高光譜成像因其光譜分辨率高,可同時(shí)獲取數(shù)百個(gè)連續(xù)波段的空間與光譜信息,形成文物的“光譜指紋”,廣泛應(yīng)用于文物鑒定、成分分析、隱含信息挖掘等文物保護(hù)分析工作中[1-3]。然而,由于成像傳感器的硬件限制[4],現(xiàn)有設(shè)備的空間分辨率遠(yuǎn)達(dá)不到高清數(shù)碼相機(jī)的分辨率,限制了高光譜數(shù)字化的發(fā)展。為了獲取具有高空間和高光譜分辨率的數(shù)據(jù),本文結(jié)合多種傳感器拍攝的圖像開(kāi)展研究。

圖像融合是提升高光譜圖像分辨率的常用方法之一,結(jié)合文物數(shù)字化影像數(shù)據(jù)的特點(diǎn),本文將綜合高空間分辨率RGB圖像(high spatial resolution RGB images,HR-RGB)的空間細(xì)節(jié)和低空間分辨率高光譜圖像(low spatial resolution hyperspectral images,LR-HSI)的光譜信息,獲得高空間分辨率的高光譜圖像(high spatial resolution hyperspectral images,HR-HSI)。

目前,很多學(xué)者也開(kāi)展了相關(guān)研究，如成分替換法、變分模型法等。由于具有自適應(yīng)特征提取和學(xué)習(xí)能力,基于深度學(xué)習(xí)的圖像融合效果更優(yōu)。Li等人探索了卷積網(wǎng)絡(luò)在高光譜圖像超分辨率中2D和3D卷積之間的關(guān)系[5];Zhu等人通過(guò)深度漸進(jìn)的零中心殘差學(xué)習(xí),融合多光譜和高光譜圖像來(lái)提升高光譜圖像的分辨率[6];Xiao等人利用生成對(duì)抗網(wǎng)絡(luò),設(shè)計(jì)了迭代細(xì)化單元，解決高光譜圖像的超分辨率問(wèn)題[7]。然而,圖像融合的方法通常會(huì)在空間增強(qiáng)和光譜保真度之間進(jìn)行權(quán)衡,融合結(jié)果會(huì)獲得較高的光譜保真度,而空間結(jié)構(gòu)比較模糊[8]。另外,在基于深度學(xué)習(xí)的圖像融合方法中,大多數(shù)損失函數(shù)只在空間方面進(jìn)行約束訓(xùn)練,導(dǎo)致發(fā)生光譜畸變。

綜上所述,為了提高高光譜圖像的空間分辨率,考慮到需要在同一場(chǎng)景下分別采集RGB和高光譜數(shù)據(jù),為了降低配準(zhǔn)難度,本文首先提出一套面向文物高光譜數(shù)字化的操作流程;其次,提出了基于多尺度多支路的RGB和HSI融合方法，主要內(nèi)容如下：

1)設(shè)計(jì)多尺度空間光譜融合模塊,融合RGB和HS圖像在不同尺度下的特征,在保留光譜信息的同時(shí),引入RGB的空間結(jié)構(gòu);然后，將多支路信息輸入細(xì)化模塊,進(jìn)一步提高高光譜圖像的空間分辨率。

2)設(shè)計(jì)含有光譜角指導(dǎo)的損失函數(shù),從而在空間和光譜兩方面對(duì)訓(xùn)練進(jìn)行約束,避免空間結(jié)構(gòu)模糊和光譜畸變。

3)與傳統(tǒng)方法和基于深度學(xué)習(xí)的方法進(jìn)行對(duì)比,并設(shè)計(jì)消融實(shí)驗(yàn),證明本文方法的有效性和優(yōu)越性。

1 數(shù)據(jù)采集

1.1 器材選擇

1.1.1 相機(jī)選擇 采集工作中選擇了日本佳能公司生產(chǎn)的EOS 5DS數(shù)碼單鏡頭反光相機(jī)和芬蘭SPECIM公司的高光譜相機(jī)進(jìn)行文物數(shù)據(jù)采集。其中,數(shù)碼單反相機(jī)采用了CMOS圖像感應(yīng)器,尺寸為全畫(huà)幅(36.0 nm×24.0 nm),傳感器輸出像素最大尺寸為8 688×5 792;高光譜相機(jī)可以獲取204個(gè)波段的光譜帶數(shù)據(jù),輸出像素為512×512。

在采集RGB圖像前,應(yīng)先調(diào)整好相機(jī)內(nèi)部參數(shù),保證最佳像素,設(shè)置RAW+JPEG格式記錄原始RGB圖像數(shù)據(jù)，同時(shí)，使用三腳架穩(wěn)定相機(jī)并固定位置。采集時(shí),快門(mén)速度不低于1/100 s，并且使用自動(dòng)白平衡模式保證白平衡的統(tǒng)一。

1.1.2 燈光選擇 由于環(huán)境對(duì)光源極高的依賴(lài)性,使得僅靠相機(jī)難以獨(dú)立完成采集工作,通常還需針對(duì)性照明器材協(xié)同進(jìn)行工作。在采集高光譜圖像過(guò)程中,鹵素?zé)?100～1 000 W)作為主要照明設(shè)備,用于模擬日光，在采集RGB圖像時(shí),使用普通LED燈進(jìn)行照明。在使用外置光源時(shí),光線(xiàn)應(yīng)均勻柔和,避免對(duì)文物造成損害;同時(shí)根據(jù)采集現(xiàn)場(chǎng)的具體環(huán)境對(duì)亮度進(jìn)行調(diào)節(jié),防止出現(xiàn)過(guò)亮的光斑,造成圖像的過(guò)曝,影響采集數(shù)據(jù)的質(zhì)量。

1.1.3 其他工具 受不同光源色溫不同的影響,采集的照片可能存在偏離正色的問(wèn)題,因此，借助高光譜設(shè)備中自帶的白板,保證在統(tǒng)一色溫條件下還原圖像正確的顏色。另外,采集使用了對(duì)文物沒(méi)有損害的紅外打線(xiàn)器,參考其在文物上投影邊框劃分的區(qū)域進(jìn)行拍攝,保證獲取同一場(chǎng)景下的RGB和高光譜圖像,使其盡可能相匹配。同時(shí)使用三腳架、固定器作為輔助攝影器材,減少因手持設(shè)備拍攝而產(chǎn)生的畫(huà)面抖動(dòng),殘影等問(wèn)題。

1.2 數(shù)據(jù)采集流程

圖1為本文設(shè)計(jì)的采集文物RGB圖像和高光譜圖像規(guī)范化操作流程。準(zhǔn)備工作如下：

1)根據(jù)實(shí)際需求制作表格,記錄拍攝時(shí)間、地點(diǎn)、內(nèi)容以及相機(jī)參數(shù)、攝距等信息,規(guī)范填寫(xiě)工作記錄,制定工作準(zhǔn)則,要求工作人員遵守規(guī)范、嚴(yán)格執(zhí)行。

2)準(zhǔn)備整個(gè)數(shù)據(jù)采集工作中需要的所有工具:數(shù)碼單反相機(jī)、高光譜相機(jī)、三腳架、紅外打線(xiàn)器、鹵素?zé)?、白板、卷尺等。在采集文物圖像數(shù)據(jù)之前,根據(jù)實(shí)際情況,使用卷尺控制采集設(shè)備與被攝文物之間的距離,固定相機(jī)三腳架,在采集過(guò)程中保持?jǐn)z距不變。為了保證采集圖像無(wú)變形,要求相機(jī)與被攝物完全平行,并且使鏡頭主軸對(duì)準(zhǔn)被攝物的中央,避免透視變形。同時(shí)，按照?qǐng)D2所示的布局放置鹵素?zé)?在被攝物左右兩側(cè)各打一束光,約呈45°照射,微調(diào)距離后保證被攝物各部位受光量一致。

數(shù)據(jù)采集流程如下：

1)采集文物的高光譜圖像:首先，打開(kāi)紅外打線(xiàn)器,根據(jù)拍攝內(nèi)容調(diào)整投影距離;然后，打開(kāi)鹵素?zé)?調(diào)節(jié)光源強(qiáng)度,避免白板過(guò)曝,對(duì)白板進(jìn)行拍攝。在拍攝白板時(shí),需佩戴純色棉質(zhì)手套,避免污染,同時(shí)不得遮擋白板,使其盡量貼近采集對(duì)象但無(wú)接觸;之后，利用高光譜相機(jī)內(nèi)置的功能自定義白平衡,進(jìn)行色彩校正;最后，取掉白板,拍攝所選區(qū)域的多張高光譜圖像,便于后期挑選高質(zhì)量的數(shù)據(jù)。

圖1 文物圖像數(shù)據(jù)采集流程Fig.1 The acquisition process of cultural relic image data

圖2 鹵素?zé)舻姆胖梅绞紽ig.2 The way of halogen lamps are placed

2)采集文物的RGB圖像:高光譜圖像拍攝工作結(jié)束后,保持現(xiàn)場(chǎng)環(huán)境一致,保證光源強(qiáng)度、攝距等條件不變,更換拍攝設(shè)備為數(shù)碼單反相機(jī),采集同一區(qū)域的多張RGB圖像。

3)更換拍攝內(nèi)容:需要移動(dòng)相關(guān)設(shè)備、器材,再次拍攝白板,保證每組數(shù)據(jù)內(nèi)必須包含有實(shí)時(shí)拍攝的白板圖像,并且按照準(zhǔn)備工作中的布置要求,重新安裝相關(guān)設(shè)備。

4)數(shù)據(jù)處理:采集工作結(jié)束后,對(duì)獲取的文物圖像數(shù)據(jù)進(jìn)行檢查,刪除因過(guò)曝、模糊等問(wèn)題無(wú)法使用的圖像,檢查是否拍攝齊全,確保提交的數(shù)據(jù)符合要求。同時(shí)，對(duì)原始數(shù)據(jù)按照采集內(nèi)容、時(shí)間等類(lèi)別進(jìn)行細(xì)化分類(lèi),詳細(xì)規(guī)范地命名,附有拍攝時(shí)間、內(nèi)容等文件信息,RGB圖像和高光譜圖像分別以.JPEG和.DAT格式保存到移動(dòng)數(shù)據(jù)盤(pán),并進(jìn)行備份。

2 基于多尺度多支路的融合網(wǎng)絡(luò)

本節(jié)對(duì)采集到的RGB和高光譜數(shù)據(jù)進(jìn)一步通過(guò)提出的多尺度多支路的融合網(wǎng)絡(luò)(multi-scale and multi-branch fusion network,MMnet)融合增強(qiáng),重建包含RGB空間細(xì)節(jié)和HSI光譜信息的高空間分辨率高光譜圖像。

2.1 問(wèn)題描述

將高分辨率高光譜圖像集合表示為Z∈Rb×W×H,其中，b代表光譜帶數(shù),W和H分別為高光譜圖像的長(zhǎng)和寬;對(duì)于觀(guān)測(cè)的RGB圖像,可以表示為X∈R3×W×H,其中，3代表包含R、G、B 3個(gè)光譜帶;LR-HS表示為Y∈Rb×w×h(b?3,W?w,H?h)。本文提出的方法便是利用神經(jīng)網(wǎng)絡(luò)架構(gòu)來(lái)學(xué)習(xí)輸入(X,Y)和Z之間的非線(xiàn)性映射關(guān)系:

l(θ)=‖fw(X,Y;θ)-Z‖1。

(1)

其中，fw(·)代表整個(gè)神經(jīng)網(wǎng)絡(luò)從輸入到輸出的映射,θ是待優(yōu)化的參數(shù),‖·‖1為L(zhǎng)1范數(shù)。

如圖3所示,本文提出了一個(gè)由空間光譜融合模塊和細(xì)化模塊組成的多尺度多支路融合網(wǎng)絡(luò),將(X,Y)輸入此網(wǎng)絡(luò)中,通過(guò)空間光譜融合模塊,得到RGB、RGB+HS以及HS 3個(gè)支路輸出,再輸入到細(xì)化模塊進(jìn)一步提高空間分辨率。

圖3 多尺度多支路融合網(wǎng)絡(luò)Fig.3 Multi-scale and multi-branch fusion network

2.2 空間光譜融合模塊

由于觀(guān)測(cè)到的HR-RGB和LR-HSI的空間結(jié)構(gòu)差異很大,為了在保留HSI光譜信息的同時(shí)融入RGB的高空間分辨率結(jié)構(gòu),本文設(shè)計(jì)了一種多尺度的空間光譜融合模塊。對(duì)HSI逐步上采樣得到光譜相關(guān)特征,對(duì)RGB圖像逐步下采樣得到空間相關(guān)特征,然后，通過(guò)多尺度的方式動(dòng)態(tài)融合光譜特征和空間特征，圖4展示了空間光譜融合模塊的結(jié)構(gòu)。隨著空間尺度因子2S的增加,網(wǎng)絡(luò)分別在保留光譜和空間結(jié)構(gòu)兩條路徑中設(shè)置S個(gè)卷積塊。

在空間結(jié)構(gòu)保留路徑中:

(2)

(3)

其中,Maxpools是第s個(gè)卷積層前的最大池化層,

s=2,3,…,S,Xs∈R2S-sw×2S-sh。

在光譜信息保留路徑中

(4)

(5)

空間光譜融合模塊主要采用了多尺度融合的方法:

(6)

通過(guò)堆棧形成光譜保留路徑的第s+1個(gè)卷積塊的輸入Ys。兩條路徑中的每個(gè)卷積塊均包含兩層卷積層以及ReLU激活函數(shù)。

圖4 空間光譜融合模塊結(jié)構(gòu)Fig.4 The architecture of spatial-spectral fusion module

2.3 細(xì)化模塊

圖5 細(xì)化模塊Fig.5 The refine module

圖6 互指導(dǎo)塊Fig.6 Mutual-guiding block

Fx,Fy以及Fxy分別代表3個(gè)支路映射塊的輸出,以Fx為例,如式(7)所示，互指導(dǎo)塊線(xiàn)性作用于Fx，

(7)

其中，⊙表示對(duì)應(yīng)位置逐點(diǎn)相乘,A和B代表指導(dǎo)作用,通過(guò)圖7所示的互指導(dǎo)塊獨(dú)立計(jì)算，

A=Pa([Fx;Fy;Fxy];πa)，

B=Pb([Fx;Fy;Fxy];πb)。

(8)

其中，Pa(·;πa)和Pb(·;πb)分別代表A和B的指導(dǎo)塊,[Fx;Fy;Fxy]表示3個(gè)特征的堆棧。同樣地,在指導(dǎo)Fy和Fxy時(shí),使用不同的串聯(lián)[Fy;Fx;Fxy]和[Fxy;Fx;Fy],實(shí)現(xiàn)對(duì)3個(gè)輸入的分別指導(dǎo),從而實(shí)現(xiàn)對(duì)HSI空間結(jié)構(gòu)的細(xì)化,輸出HR-HSI。

2.4 空間光譜角指導(dǎo)損失函數(shù)

在訓(xùn)練網(wǎng)絡(luò)過(guò)程中,本文從兩方面進(jìn)行約束,設(shè)計(jì)了一種空間光譜角指導(dǎo)損失函數(shù)，

(9)

Lspe為光譜角損失[9]:

(10)

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

實(shí)驗(yàn)利用上文提出的面向文物RGB-高光譜圖像采集技術(shù)制作數(shù)據(jù)集(以書(shū)畫(huà)為例)。該數(shù)據(jù)集包含高光譜圖像和同一場(chǎng)景下配準(zhǔn)的RGB圖像。其中,所有高光譜圖像的光譜帶數(shù)為204,空間尺寸為256×256像素，RGB圖像空間尺寸為1 024×1 024像素。由于硬件設(shè)備限制,無(wú)法從已有的數(shù)據(jù)集中得到HR-HS圖像,因此，實(shí)驗(yàn)遵循Wald協(xié)議[10]進(jìn)行訓(xùn)練部分。在這種情況下,使用高斯內(nèi)核對(duì)所有的原始圖像過(guò)濾,并進(jìn)行4倍的下采樣處理,模擬LR-HSI,同時(shí)將原始的高光譜圖像作為參考圖像。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)采用深度學(xué)習(xí)框架Pytorch實(shí)現(xiàn)多尺度多支路融合網(wǎng)絡(luò),訓(xùn)練過(guò)程在Nvidia GTX 3080GPU上進(jìn)行。網(wǎng)絡(luò)基于空間光譜角指導(dǎo)損失函數(shù),使用隨機(jī)梯度下降法進(jìn)行優(yōu)化,初始學(xué)習(xí)率為0.01，表1為參數(shù)列表。

3.3 性能指標(biāo)

實(shí)驗(yàn)通過(guò)定量指標(biāo)和視覺(jué)評(píng)估,對(duì)本文方法的性能進(jìn)行分析。用于性能分析的指標(biāo)如下:相關(guān)系數(shù)[11](CC)、峰值信噪比[12](PSNR)、譜角映射器[13](SAM)、均方根誤差[14](RMSE)、綜合無(wú)量綱相對(duì)全局誤差[15](ERGAS)。其中,通過(guò)PSNR和CC評(píng)估目標(biāo)和參考圖像之間的相似性,CC的最優(yōu)值為1,PSNR的指數(shù)越高,結(jié)果越好;SAM測(cè)量目標(biāo)和參考圖像譜向量之間的平均角度,ERGAS是基于RMSE的加權(quán)和,表示圖像的保真度,這3個(gè)指標(biāo)的最優(yōu)值均為0,指數(shù)越低表明圖像質(zhì)量越高。

表1 訓(xùn)練網(wǎng)絡(luò)模型使用參數(shù)表Tab.1 The parameter list of training network model

3.4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)選用GFPCA[16]、Bayesian Naive[17]、CNMF[18]、MSSFCNN[19]4種方法作為對(duì)比,對(duì)本文方法的有效性進(jìn)行了驗(yàn)證。同時(shí)，對(duì)比MSSFCNN+指導(dǎo)塊,MSSFCNN+分組卷積以及本文方法,進(jìn)行消融實(shí)驗(yàn),進(jìn)一步評(píng)估本文所提算法的優(yōu)劣。

圖7展示了GFPCA、Bayesian Naive、CNMF、MSSFCNN以及本文方法MMnet的實(shí)驗(yàn)結(jié)果比較。可以明顯看出，圖7C、7E和7F均有不同程度的偽影出現(xiàn)。同時(shí),當(dāng)進(jìn)行高光譜圖像超分辨率時(shí),光譜保真度是至關(guān)重要的，圖7D雖然展示了清晰的空間細(xì)節(jié)信息,但是卻引入了光譜畸變,尤其是右上角部分。

為了證明本文方法提供的光譜保真效果,實(shí)驗(yàn)隨機(jī)選取并繪制了融合前后兩處樣本的光譜曲線(xiàn),如圖8所示,紅色為融合前光譜曲線(xiàn),藍(lán)色為融合后光譜曲線(xiàn),可以看出,兩條光譜曲線(xiàn)幾乎重合,這也應(yīng)征了融合前后光譜幾乎沒(méi)有發(fā)生變化。

為了進(jìn)一步探究這幾種方法的性能,我們使用客觀(guān)指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了評(píng)估。表2展現(xiàn)了對(duì)比方法和本文方法的指標(biāo)評(píng)價(jià)結(jié)果，由對(duì)比實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),使用本文提出的基于多尺度多支路的RGB和高光譜圖像融合方法得到的融合結(jié)果,既能提升LR-HSI的空間分辨率,又具有較好的光譜保真度。無(wú)論是在視覺(jué)效果,還是客觀(guān)指標(biāo)結(jié)果,本文方法都展現(xiàn)了最佳的性能。

圖7 不同方法對(duì)比的視覺(jué)效果圖Fig.7 Visual renderings of different methods of comparison

圖8 融合結(jié)果(Result)和參考圖像(LRHS)的光譜曲線(xiàn)Fig.8 The spectral curves of the fusion Result(Result)and the reference image(LRHS)

3.5 消融實(shí)驗(yàn)

現(xiàn)有基于深度學(xué)習(xí)的高光譜圖像超分辨率網(wǎng)絡(luò)均具有復(fù)雜的體系結(jié)構(gòu),通常具有數(shù)百萬(wàn)個(gè)參數(shù),而分組卷積可以在不改變卷積次數(shù)的情況下,利用不同的卷積核,降低參數(shù)量的同時(shí)使網(wǎng)絡(luò)學(xué)習(xí)到更多的空間細(xì)節(jié)[20]。高光譜圖像波段多,冗余度較高,采用分組卷積將波段分塊,從而降低冗余信息對(duì)網(wǎng)絡(luò)學(xué)習(xí)的影響,提高該網(wǎng)絡(luò)的性能。為了更好地驗(yàn)證互指導(dǎo)模塊和分組卷積在本文方法中的有效性,實(shí)驗(yàn)增加了模塊消融部分。將MSSFCNN作為基準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu),在其基礎(chǔ)上添加本文使用的分組卷積作為MMnet-1,將MSSFCNN+互指導(dǎo)模塊作為MMnet-2,MSSFCNN+分組卷積+互指導(dǎo)模塊的組合即為本文提出的方法MMnet。圖9展示了這4種方法的實(shí)驗(yàn)結(jié)果。從圖9D中可以看出,在MSSFCNN中只分組卷積后的結(jié)果在空間結(jié)構(gòu)上出現(xiàn)了模糊的情況,其空間分辨率和圖9C相比明顯降低,由此說(shuō)明分組卷積降低了MSSFCNN實(shí)驗(yàn)結(jié)果精度;圖9E的空間結(jié)構(gòu)比圖9C更清晰,說(shuō)明了互指導(dǎo)模塊的有效性。

為了更加準(zhǔn)確地評(píng)估實(shí)驗(yàn)結(jié)果,表3展示了消融實(shí)驗(yàn)的客觀(guān)指標(biāo)評(píng)價(jià)。從表3中可以看出,MMnet-1各項(xiàng)指標(biāo)效果相比于MSSFCNN均有所下降,然而，MMnet-2的各項(xiàng)結(jié)果是除了本文方法以外最優(yōu)的。由此,視覺(jué)效果和客觀(guān)指標(biāo)評(píng)價(jià)均可以證明本文方法中互指導(dǎo)模塊和分組卷積的有效性。

表2 幾種方法的指標(biāo)評(píng)價(jià)結(jié)果Tab.2 Evaluation index results of several methods

圖9 消融實(shí)驗(yàn)結(jié)果的視覺(jué)效果圖Fig.9 A visual rendering of the results of the ablation experiment

表3 消融實(shí)驗(yàn)結(jié)果的指標(biāo)評(píng)價(jià)Tab.3 Evaluation index of ablation test results

4 結(jié)語(yǔ)

本文面向文物高光譜數(shù)字化采集需求,從器材選擇、現(xiàn)場(chǎng)布置、操作過(guò)程3個(gè)方面設(shè)計(jì)了一套高光譜數(shù)據(jù)采集流程。并針對(duì)高光譜空間分辨率不足的問(wèn)題,提出了一種基于多尺度多支路的RGB和高光譜圖像融合方法,該方法由空間光譜融合模塊和細(xì)化模塊兩部分組成。首先，將RGB的空間細(xì)節(jié)和HSI的光譜信息進(jìn)行融合,輸出RGB、RGB+HS以及HS多支路特征;然后，進(jìn)一步細(xì)化,在支路特征之間相互指導(dǎo),重建具有高空間分辨率的高光譜圖像，同時(shí)，利用光譜角損失函數(shù)保證融合前后的光譜一致性,減少光譜畸變。實(shí)驗(yàn)結(jié)果證明,本文提出的MMnet方法無(wú)論在視覺(jué)效果還是客觀(guān)評(píng)價(jià)指標(biāo)上,在空間分辨率和光譜保真度方面均有較好的效果。