快照式光譜成像技術發(fā)展趨勢分析與展望（特邀）

袁艷，劉安琪，蘇麗娟

（1 北京航空航天大學儀器科學與光電工程學院，北京 100191）

（2 精密光機電一體化技術教育部重點實驗室，北京 100191）

0 引言

目標輻射光波場攜帶多維信息，可以用九維函數(shù)f(x，y，z，θ，φ，λ，t，ψ，χ)表征［1-2］，其中：(x，y，z)對應目標空間位置，(θ，φ)對應目標輻射傳播方向，λ為目標輻射波長，t為輻射傳播時間，(ψ，χ)對應目標輻射偏振態(tài)。傳統(tǒng)光學成像獲取了目標輻射的二維空間分布f(x，y)，立體成像獲取了目標輻射的三維空間分布f(x，y，z)，光譜成像則獲取了目標輻射的二維空間分布和一維光譜信息f(x，y，λ)，進而得到感興趣目標的幾何影像及其特征光譜，可有效提高目標探測與識別能力，在天文觀測、遙感探測、農(nóng)業(yè)生產(chǎn)、環(huán)境保護、軍事偵查、生物醫(yī)學等諸多領域具有重要應用。

光譜成像技術將目標輻射三維數(shù)據(jù)立方體f(x，y，λ)降維于面陣或線陣成像探測器上，傳統(tǒng)的數(shù)據(jù)立方體獲取主要有兩種模式：一種是對空間維度進行一維或者二維的光機掃描，如棱鏡色散成像光譜儀［3］，光柵衍射成像光譜儀［4］和空間調制干涉成像光譜儀［5］等；另外一種是進行光譜掃描，如濾光片型成像光譜儀［6］和時間調制干涉成像光譜儀［7］等。這兩種模式均無法實現(xiàn)目標輻射f(x，y，λ)的實時探測，并且在f(x，y，λ)獲取過程中，要求成像光譜儀與景物目標保持嚴格的空間位置或姿態(tài)關系，否則將影響光譜成像探測效果，限制光譜成像技術的應用范圍?？煺帐焦庾V成像技術則是通過將目標輻射f(x，y，λ)進行空譜調制，單次成像曝光即可獲得目標圖譜數(shù)據(jù)的二維調制投影數(shù)據(jù)，依據(jù)后期數(shù)據(jù)解調處理可重構目標輻射的三維數(shù)據(jù)立方體。相對于掃描式光譜成像技術，快照式光譜成像技術在動態(tài)場景探測中具有顯著優(yōu)勢［8-9］，得到了國內(nèi)外研究人員的廣泛關注。

1 快照式光譜成像技術發(fā)展現(xiàn)狀

依據(jù)目標輻射f(x，y，λ)空譜調制投影原理，快照式光譜成像可分為直接測量型和間接測量型［2］。直接測量型是將數(shù)據(jù)立方體f(x，y，λ)的二維切片在探測器上進行投影排布，建立目標光譜輻射與投影像素的灰度映射，以此進行數(shù)據(jù)立方體重構，如濾光片堆棧型光譜成像（Imaging Spectroscopy using a Filter Stack，IS-FS）［10］、像面復制光譜成像（Image-Replicating Imaging Spectroscopy，IRIS）［11］、光場光譜成像（Light Field Imaging Spectroscopy，LFIS）［12］、光學復制與重繪光譜成像（Optically Replicating and Remapping Imaging Spectroscopy，ORRIS）［13］、積分視場光譜成像（Integral Field Spectroscopy，IFS）［14-17］、基于像面分割投影的光譜成像（Image Mapping Spectroscopy，IMS）［18-20］、基于像素濾光的探測器陣列（Multispectral Sensor with Per-pixel Filters，MS-PPF）［21］等，圖1 和圖2 分別為LFIS 和IMS 成像原理圖。

圖1 光場光譜成像原理Fig.1 Schematic of light field imaging spectroscopy

圖2 基于像面分割投影的光譜成像原理Fig.2 Schematic of image mapping spectroscopy

間接測量型是將目標數(shù)據(jù)立方體f(x，y，λ)調制編碼，投影映射為探測器的像元響應，需將成像數(shù)據(jù)進行計算解調才能重構數(shù)據(jù)立方體。如計算層析光譜成像（Computed Tomography Imaging Spectroscopy，CTIS）［22］、快照式傅里葉變換光譜成像（Snapshot Hyperspectral Imaging Fourier Transform spectroscopy，SHIFT）［23］、編碼孔徑光譜成像（Coded Aperture Snapshot Spectral Imaging，CASSI）［24-26］、基于Sagnac 干涉原理的光譜成像（Multispectral Sagnac Interferometry，MSI）［27］、基于衍射光學元件（Diffractive Optical Element，DOE）的光譜成像［28］等，圖3 和圖4 分別為CASSI 和SHIFT 成像原理。

圖3 編碼孔徑光譜成像原理Fig.3 Schematic of coded aperture snapshot spectral imaging

圖4 快照式傅里葉變換光譜成像原理［23］Fig.4 Schematic of snapshot hyperspectral imaging Fourier transform spectroscopy［23］

由于快照式光譜成像技術可以實時完成目標輻射f(x，y，λ)三維信息的探測，在此基礎上，進一步拓展目標輻射探測維度，實現(xiàn)多維信息實時探測，是光學探測技術發(fā)展的重要趨勢。另外，直接測量型快照式光譜成像技術具有空譜調制關系明確、重構算法簡單等優(yōu)點，但是空譜調制以犧牲空間分辨率為代價來獲得光譜數(shù)據(jù)，重構數(shù)據(jù)立方體的空間分辨率較低；雖然間接測量型不存在分辨率制約，但數(shù)據(jù)重構算法復雜、效果不佳以及計算耗時也是推廣應用的瓶頸。如圖5 所示，根據(jù)對上述研究現(xiàn)狀的分析，本文將從技術原理和數(shù)據(jù)處理兩個角度介紹快照式光譜成像技術的發(fā)展趨勢，并重點介紹快照式光譜立體成像技術和光譜圖像空間超分辨技術。

圖5 快照式光譜成像技術研究現(xiàn)狀與發(fā)展趨勢概覽Fig.5 Overview of the research status and development trend of snapshot spectral imaging technology

2 快照式光譜立體成像技術

快照式光譜成像技術在獲取目標三維數(shù)據(jù)立方體f(x，y，λ)的基礎上，增加對目標深度信息的探測可以擴展更多的應用場景，從而獲取目標輻射四維信息f(x，y，z，λ)或者五維信息f(x，y，θ，φ，λ)，被稱為快照式光譜立體成像技術。

實現(xiàn)快照式光譜立體成像主要有兩類技術途徑：一類是將光譜成像技術和立體成像技術進行集成，利用兩路光學系統(tǒng)分別獲取光譜成像和立體成像數(shù)據(jù)，通過數(shù)據(jù)處理進行進一步的融合，即獨立測量型；另一類則是致力于探索光譜信息和三維空間信息的耦合探測，即耦合測量型。

2.1 獨立測量型

獨立測量型快照式光譜立體成像技術包含兩路獨立工作的光學系統(tǒng)，其中立體成像系統(tǒng)以其工作模式被區(qū)分為主動型和被動型。主動型立體成像需要配備照明光源，例如結構光［29］，激光掃描儀［30］和時間飛行（Time of Flight，ToF）探測器［31］等，主要適用于室內(nèi)場景的立體成像；被動型立體成像則主要基于雙目視覺［32］和光場成像［33］等，通過視差估計來獲取目標深度信息。

2012 年，KIM M H 等首先提出同時測量目標三維（Three-dimensional，3D）形貌和光譜輻射的3D 光譜成像技術（3D Imaging Spectroscopy，3DIS）［34］。如圖6 所示，該系統(tǒng)是由激光掃描儀和CASSI 光譜成像系統(tǒng)組成的集成系統(tǒng)，分別獲取目標的深度信息和光譜輻射信息。但是目標需要置于旋轉平臺上進行圓周掃描，因此系統(tǒng)時間分辨率較低，限制了其在動態(tài)場景中的應用。

圖6 3DIS 系統(tǒng)原理［34］Fig.6 Principle of the 3DIS system［34］

2017 年，中國科學技術大學熊志偉課題組將光場成像技術與光譜成像技術結合［35］。如圖7 所示，分束器將光路分為兩路，分別使用商用的Lytro 光場相機和CASSI 光譜成像系統(tǒng)。通過計算重建算法，該技術可獲得目標的五維信息f(x，y，θ，φ，λ)，利用視角信息(θ，φ)可進一步重建目標的深度信息。最終，該系統(tǒng)重構數(shù)據(jù)的尺寸為380×380×9×9×27。2019 年，熊志偉課題組進一步提出一種高分辨率的快照式光譜立體成像技術，空間分辨率可達到1920×1080［36］。如圖8 所示，該系統(tǒng)采用雙光路設計，其中一路使用法布里-珀羅干涉（Fabry-Pérot Interference，F(xiàn)PI）探測器獲取低分辨率光譜成像信息，另一路使用RGB 探測器獲取高分辨率彩色圖像。根據(jù)雙目視覺理論，兩個子系統(tǒng)的視差可用于深度信息的重建。利用深度學習算法，高分辨率RGB 圖像作為先驗信息，用于提升光譜數(shù)據(jù)立方體的空間分辨率。

圖7 快照式光譜光場成像技術［35］Fig.7 Schematic of the snapshot hyperspectral light field imager［35］

圖8 高分辨率光譜立體成像技術原理［36］Fig.8 Schematic of the spectral-depth imaging system with high resolution［36］

2018 年，HEIST S 等提出基于結構光照明的光譜立體成像技術［37］。如圖9 所示，該技術使用兩個基于FPI 探測器的光譜成像儀構成雙目系統(tǒng)，GOBO（GOes Before Optics）投影儀［29］投射出非周期的正弦條紋于待測目標，在曝光時間內(nèi)，投射圖樣隨GOBO 輪的旋轉而變化。該技術重構計算量小且精度高，實際測量速度達到17 Hz，適用于實時成像。

圖9 基于結構光照明的光譜立體成像技術實物裝置［37］Fig.9 Photograph of the spectral-depth imaging system using structured light［37］

2.2 耦合測量型

獨立測量型快照式光譜立體成像探測方案中，目標光譜信息和三維空間信息的獲取過程相對獨立，本質上是通過增加信息容量以獲取高維數(shù)據(jù)，需要處理的數(shù)據(jù)量大。因此，出現(xiàn)了耦合測量型快照式光譜立體成像技術，按照光譜信息和三維空間信息的耦合緊密程度，經(jīng)歷了以下發(fā)展階段。

2016 年，清華大學戴瓊海課題組提出了基于相機陣列的快照式光譜立體顯微成像技術［38］。如圖10 所示，透鏡陣列、濾光片陣列和RGB 相機陣列組成的探測裝置實現(xiàn)了對四維空譜信息的采樣。通過建立四維空譜耦合點擴散函數(shù)模型，使用四維退卷積算法重構目標場景的f(x，y，z，λ)。2017 年，南京大學曹汛課題組針對基于相機陣列的快照式光譜立體成像技術提出了新的數(shù)據(jù)處理方法［39］。首先，通過基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）的立體匹配算法計算各視角圖像的視差圖，然后基于光譜傳感矩陣進行光譜解混。

圖10 基于相機陣列的快照式光譜立體顯微成像技術［38］Fig.10 Schematic of the snapshot hyperspectral volumetric microscopy based on camera array［38］

上述技術雖然實現(xiàn)了三維空間信息和光譜信息的耦合，但是系統(tǒng)體積龐大，各相機需要進行內(nèi)外參標定，存在配準誤差。因此，研究人員致力于提高系統(tǒng)的集成度，使用單個探測器即可獲得光譜立體成像信息。與快照式光譜成像技術類似，根據(jù)高維信息調制方式的不同，可以分為直接型和間接型。2020 年，GAO L 等將光場成像技術與IMS 光譜成像技術相結合，提出了一種快照式光譜立體成像單相機系統(tǒng)［40］，其原理如圖11。該系統(tǒng)采用非聚焦型光場成像系統(tǒng)獲取目標的四維光場信息f(x，y，θ，φ)，形成的光場圖像作為中間像經(jīng)由IMS 系統(tǒng)進行分割色散以獲取光譜信息，實驗重構數(shù)據(jù)的尺寸為66×66×5×5×40。該系統(tǒng)結構緊湊，光效率高，但是重構數(shù)據(jù)尺寸受探測器像素數(shù)的限制，分辨率較低。

圖11 快照式光譜立體成像單相機系統(tǒng)原理［40］Fig.11 Schematic of a snapshot hyperspectral light field imaging system using a single camera［40］

間接調制型可以避免探測器分辨率對重構數(shù)據(jù)分辨率的限制。2018 年，哈爾濱工業(yè)大學金鵬課題組將光場成像技術與SHIFT 光譜成像技術相結合，提出了基于傅里葉變換的快照式光譜立體成像技術［41］。如圖12 所示，目標的一次像經(jīng)中繼鏡頭和微透鏡陣列后形成一系列有視差的子圖像，類似于聚焦型光場成像技術。子圖像通過雙折射偏振干涉儀后，成像至探測器面。該技術采用CNN 算法將探測數(shù)據(jù)中的光場成像數(shù)據(jù)和干涉數(shù)據(jù)解耦，利用上述數(shù)據(jù)分別重建深度信息和光譜信息，最終獲得了四維空譜信息f(x，y，z，λ)。

圖12 基于傅里葉變換的快照式光譜立體成像技術［41］Fig.12 Schematic of the snapshot spectral-volumetric imaging system based on Fourier transform［41］

基于壓縮感知理論，南京理工大學陳錢課題組在2016 年提出了基于壓縮感知的光譜集成成像技術［42］。如圖13 所示，三維目標場景經(jīng)過微透鏡陣列后形成不同視角的子圖像，經(jīng)過編碼色散后，在探測器上形成壓縮的二維圖像，使用現(xiàn)有的壓縮感知重構算法重建了不同聚焦深度下的光譜數(shù)據(jù)立方體。

圖13 基于壓縮感知的光譜集成成像技術原理［42］Fig.13 Schematic of the compressive spectral integral imaging system［42］

2019 年，RUEDA-CHACON H 等提出了基于ToF 探測器的快照式光譜立體成像技術［43］。如圖14 所示，近紅外LED 發(fā)出的光脈沖經(jīng)物體反射后，與物體散射的環(huán)境光一同進入系統(tǒng)。傳統(tǒng)CASSI 系統(tǒng)的二元編碼模板被彩色編碼孔徑（Color-Coded Aperture，CCA）代替，CCA 對反射的近紅外光不作調制，在工作波段內(nèi)，對目標場景在空間維和光譜維進行同時編碼，探測器不僅接收到二維壓縮圖像，通過反射光脈沖的相位偏移還可以計算目標距離。最終，實驗數(shù)據(jù)重構結果空間分辨率為256×256，波段數(shù)為8，深度估計的精度在厘米量級，幀頻達到30 fps。

圖14 基于ToF 探測器的快照式光譜立體成像技術原理［43］Fig.14 Schematic of the snapshot spectral-volumetric imaging system using a ToF camera［43］

2021 年，MARQUEZ M 等提出了基于編碼像差的快照式光譜立體成像技術［44］。如圖15 所示，變形鏡（Deformable Mirror，DM）是一種可編程的相位調制器件，可以對波前引入特定的像差。在積分時間內(nèi)，DM通過引入離焦來實現(xiàn)對不同深度目標的掃描，同時，數(shù)字微鏡（Digital Micromirror Device，DMD）產(chǎn)生不同的編碼模板。最后，不同深度的目標經(jīng)過不同的相位和幅值編碼，色散后在探測器形成壓縮圖像。采用交替方向乘子算法（Alternating Direction Method of Multipliers，ADMM）可以從壓縮圖像中重構出全聚焦灰度圖像、全聚焦單譜段圖像和灰度焦棧圖像，進而估計出深度圖。

圖15 基于編碼像差的快照式光譜立體成像技術原理［44］Fig.15 Schematic of the coded aperture snapshot spectral depth imaging via depth from coded aberrations（CASSDI-DFA）［44］

2021 年，CUI Q 等提出能獲取五維光場f(x，y，θ，φ，λ)的快照式高光譜光場斷層成像技術［45］。如圖16所示，基于稀疏視圖計算斷層成像原理，通過使用道威棱鏡陣列和柱鏡陣列獲得目標的多角度投影，之后通過光柵色散獲得其光譜信息。得益于極高的壓縮比，該技術降低了對探測器幅面尺寸的要求，提升了時間分辨率。

圖16 快照式高光譜光場斷層成像技術原理［45］Fig.16 Schematic of the snapshot hyperspectral light field tomography［45］

2021 年，BAEK S H 等提出了基于衍射光學元件的快照式光譜立體成像技術［46］。如圖17（a）所示，系統(tǒng)的成像元件僅包括一片DOE，在體積和便攜性方面極具優(yōu)勢。通過對DOE 進行設計，可使點擴散函數(shù)（Point Spread Function，PSF）隨波長和目標深度變化。為此，該研究提出了一種端到端的DOE 設計方法，如圖17（b）所示，給定DOE 表面輪廓可仿真出相應的PSF，與目標場景卷積生成仿真圖像后，使用CNN 網(wǎng)絡重構光譜和深度信息，聯(lián)合真值計算損失函數(shù)以進行反向反饋，實現(xiàn)對DOE 表面輪廓和重構算法的聯(lián)合優(yōu)化。

圖17 基于衍射光學元件的快照式光譜立體成像技術原理［46］Fig.17 Schematic of the snapshot hyperspectral-depth imaging system with diffractive optics［46］

表1 對比了上述快照式光譜立體成像技術，分別列出其涉及的光譜成像技術、立體成像技術和各種技術方案實現(xiàn)的空間分辨率(x，y)/(x，y，z)/(x，y，θ，φ)、光譜分辨率（光譜通道數(shù)）以及時間分辨率（幀頻）?？梢钥闯觯瑸榱嗽谠黾犹綔y維度的同時保持重構數(shù)據(jù)的空間和光譜分辨率，以CASSI 為代表的間接測量型快照式光譜成像技術被廣泛采用。雖然MS-PPF 光譜成像技術也可以達到較高的空間分辨率，但其采用的FPI探測器使之難以和其他立體成像技術深度耦合，整套系統(tǒng)仍然較為分散。近年來，隨著深度學習算法的發(fā)展，CASSI 的重建效果顯著提升［47-49］。同時，計算能力和加工工藝的提升促進了計算成像技術的發(fā)展，例如衍射光學元件［50-51］和超構表面透鏡陣列［52］。此類系統(tǒng)中不再區(qū)分光譜成像模塊和立體成像模塊，而是通過PSF 反映目標波長和深度的變化，系統(tǒng)體積往集成化、微型化方向發(fā)展。

表1 快照式光譜立體成像技術對比Table 1 Comparison of different snapshot spectral volumetric imaging technologies

3 光譜圖像空間超分辨方法

對于直接測量型快照式光譜成像技術，數(shù)據(jù)立方體的分辨率受到探測器分辨率的制約，需要犧牲空間分辨率以換取光譜分辨率。間接測量型快照式光譜成像技術雖然從原理上能夠獲取更高空間分辨率的光譜圖像，但是其重構算法計算量大且圖像質量較低，在實際場景中應用有限。因此，大量研究致力于用算法提升光譜圖像的空間分辨率。

3.1 基于圖像融合方法

基于融合的光譜圖像超分辨方法通常使用高分辨率全色圖像或者RGB 圖像提供的空間信息作為輔助，與低分辨率的光譜圖像融合以生成高分辨率的光譜圖像。

為了獲取高分辨率的輔助圖像，通常采用圖18 所示的基于分束器的雙光路結構。2014 年，南京大學曹汛課題組針對基于針孔陣列的積分視場光譜成像技術，將低分辨率的光譜圖像與高分辨率的RGB 圖像配準后，利用光譜數(shù)據(jù)對RGB 圖像進行光譜擴充以獲得高分辨率的光譜圖像［53］。根據(jù)光譜視頻相鄰幀之間的數(shù)據(jù)關聯(lián)性，提出基于三邊濾波的重建算法，有效提高了光譜精確度。此后，曹汛課題組進一步提出使用空間光調制器替代固定的針孔陣列［54］，如圖18 所示，根據(jù)目標場景自適應改變采樣點分布，提升了超分辨光譜圖像空間細節(jié)的準確性。

圖18 基于混合相機結構的高分辨率光譜成像視頻儀［54］Fig.18 Schematic of high-resolution hyperspectral video acquisition with a hybrid camera system［54］

2014 年，MURAKAMI Y 等提出一種混合分辨率的光譜成像視頻儀［44］，如圖19 所示。該系統(tǒng)包含高分辨率的RGB 相機和基于光纖束的低分辨率成像光譜儀（Low-Resolution Spectral Sensor，LRSS）。目標場景的光譜可視為多個光譜基函數(shù)的線性組合，基于這一假設，根據(jù)RGB 相機的光譜響應函數(shù)和低分辨率光譜圖像中估計的光譜基，可以重建高分辨率光譜圖像。在具體實施中，提出了基于分段維納估計的重建算法，將圖像分割為多個子塊進行分塊重建。與曹汛等的方法相比，該融合方法對兩路圖像空間配準誤差較不敏感。

圖19 混合分辨率光譜成像視頻儀［55］Fig.19 Schematic of hybrid-resolution spectral video system［55］

使用RGB 圖像作為融合數(shù)據(jù)源時，難以分辨“異物同譜”的情況，即不同光譜經(jīng)過RGB 相機響應后輸出相同的結果。針對這一問題，哈爾濱工業(yè)大學金鵬課題組將SHIFT 得到的低分辨率光譜圖像與高分辨率的全色圖像融合［56］，提出了基于分組主成分分析（Grouping Principal Component Analysis，GPCA）的圖像融合算法。該算法首先對光譜圖像進行聚類分組，再對每組圖像進行主成分分析，在各聚類內(nèi)使用全色銳化后的第一主成分替代原始的第一主成分，進行PCA 逆變換后即可得到融合后的光譜圖像。

上述方法仍需要增加額外的光路以獲取高分辨率圖像，增大了系統(tǒng)體積。金鵬等基于SHIFT 的孔徑分割原理，利用子圖像間的亞像素位移，使用深度學習方法對子圖像序列進行空間超分辨以獲取高分辨率的全色圖像［57］，如圖20 所示。結合GPCA 圖像融合算法，即可在不增加系統(tǒng)體積的前提下獲取高分辨率的光譜圖像。

圖20 SHIFT 成像光譜儀高分辨率全色圖像獲取原理［57］Fig.20 Schematic of the high-resolution panchromatic image acquisition method for SHIFT［57］

在獲得融合數(shù)據(jù)源的前提下，傳統(tǒng)融合算法通常設定先驗信息作為正則化項，如稀疏性［58］、局部平滑性［59］等，難以在不同分布的數(shù)據(jù)上均取得較好效果。而基于深度學習的圖像融合算法能從數(shù)據(jù)中自適應學習先驗信息，在魯棒性、泛化性和計算速度等方面具有優(yōu)勢。YAO J 等根據(jù)耦合非負矩陣分解［60］（Coupled Nonnegative Matrix Factorization，CNMF）思想提出了CUCaNet（Coupled Unmixing Network with a Crossattention mechanism）網(wǎng)絡，自適應學習多光譜-高光譜數(shù)據(jù)對中的光譜響應函數(shù)和點擴散函數(shù)，實現(xiàn)了無監(jiān)督圖像融合，具備較高的泛化能力。西安交通大學孟德宇課題組提出多光譜-高光譜圖像融合網(wǎng)絡（MS/HS Fusion Net）［61-62］，利用低秩約束和觀測模型，設計多步網(wǎng)絡迭代求解高分辨率光譜圖像，網(wǎng)絡具備較好的可解釋性和泛化性。

3.2 基于單幅圖像方法

基于融合的光譜圖像超分辨方法需要獲得配準好的全色/RGB 圖像，考慮到配準誤差的影響，直接對單幅光譜圖像進行空間超分辨的方法受到廣泛關注。2014 年，香港中文大學DONG C 等首次提出基于卷積神經(jīng)網(wǎng)絡的圖像超分辨算法（Super-Resolution Convolutional Neural Network，SRCNN）來學習低分辨率圖像與高分辨率圖像之間的映射關系［63］。隨著深度學習在普通圖像超分辨率重建中取得顯著成績，光譜圖像空間超分辨也得到了發(fā)展。

對于光譜圖像，在空間信息重建的基礎上，還需要保持光譜一致性。2017 年，中科院西安光學精密機械研究所袁媛等將SRCNN 網(wǎng)絡遷移學習后用于提升高光譜圖像各光譜通道的空間分辨率［64］，同時約束估計的高分辨率高光譜圖像與低分辨率高光譜圖像具有相同的光譜端元，其原理如圖21 所示，但是該算法表現(xiàn)依賴于提取端元的準確性。

圖21 基于SRCNN 的高光譜圖像超分辨算法原理［64］Fig.21 Diagram of hyperspectral image super-resolution based on SRCNN［64］

2017 年，西安電子科技大學李云松課題組提出了基于光譜差卷積神經(jīng)網(wǎng)絡（Spectral Difference Convolutional Neural Network，SDCNN）和空間約束策略（Spatial Constraint，SCT）的高光譜圖像超分辨算法［65］，其算法原理如圖22 所示。SDCNN 網(wǎng)絡學習低分辨率與高分辨率高光譜圖像光譜差之間的映射關系，空間約束策略限制輸出的高分辨率高光譜圖像下采樣后與網(wǎng)絡輸入盡可能相似。之后，該課題組進一步提出基于SDCNN 和空間錯誤自糾正模型（Spatial Error Correction，SEC）的高光譜圖像超分辨算法［66］。該算法采用普通圖像超分辨算法（Very Deep image Super-Resolution convolutional network，VDSR）對光譜圖像進行空間超分辨，通過設計SEC 模型，對SDCNN 學習的光譜差結果進行校正，在保持光譜信息的同時減小空間誤差。該算法計算量小，更適用于實際應用場景。

圖22 基于SDCNN 和SCT 的高光譜圖像超分辨算法原理［65］Fig.22 Diagram of hyperspectral image super-resolution based on SDCNN and SCT［65］

2018 年，中國科學技術大學熊志偉課題組將通道注意力機制與殘差塊相結合，提出了用于單幅光譜圖像超分辨的深層殘差注意力網(wǎng)絡（Deep Residual Attention Network，DRAN）［67］。從圖23 中的對比結果可以看出，深度學習算法的效果明顯優(yōu)于傳統(tǒng)的插值算法（圖23（b）），將普通圖像超分辨網(wǎng)絡VDSR 直接作用于光譜圖像取得的效果有限（圖23（c）、（d）），而采用通道注意力機制的DRAN 網(wǎng)絡（圖23（e））顯著提升了重建效果，但效果不及同樣使用深度學習的融合算法（圖23（f））。

圖23 光譜圖像空間超分辨重建效果對比［67］Fig.23 Result of spectral image super-resolution［67］

IMS 重構圖像不僅存在空間分辨率低的問題，還存在強度偽影降低其圖像質量。針對該復雜降質問題，北京航空航天大學袁艷課題組提出了基于卷積神經(jīng)網(wǎng)絡的偽影校正及超分辨的聯(lián)合算法［68］，其網(wǎng)絡框架如圖24 所示。該聯(lián)合網(wǎng)絡的輸入為存在偽影的低分辨率重構圖像，偽影校正模塊和超分辨模塊分別提取如圖24（b）所示的偽影特征和超分辨特征?；谧⒁饬C制的特征融合模塊將上述特征進行通道域融合，根據(jù)融合特征輸出高分辨率校正圖像。針對實驗圖像與仿真圖像偽影特征不同的問題，采用部分實驗圖像進行遷移學習來微調網(wǎng)絡，最終獲得適用于實驗圖像的網(wǎng)絡模型。該聯(lián)合網(wǎng)絡針對IMS 全色重構圖像取得了顯著的效果，結合上述光譜通道注意力方法，可將該算法改進以處理IMS 光譜圖像。

圖24 偽影校正及超分辨聯(lián)合算法原理Fig.24 Diagram of the joint artifact correction and super-resolution network

綜上所述，單幅光譜圖像空間超分辨還處于發(fā)展時期，由于沒有額外的高分辨率輔助圖像，在提升空間分辨率的同時保持光譜一致性、提升信噪比是研究重點。此外，當重建4 倍及更大倍數(shù)的高分辨率光譜圖像時，重建效果較差，存在一定的局限性。

4 結論

本文從豐富光學探測信息量的角度分析了快照式光譜成像技術的發(fā)展趨勢。從增加信息探測維度方面，著重介紹了快照式光譜立體成像技術。為了實現(xiàn)集約型系統(tǒng)，利用單探測器實現(xiàn)多維成像是主要趨勢；同時，為了打破探測器分辨率的固有限制，不犧牲多維數(shù)據(jù)的分辨率，引入基于計算成像的間接測量方法成為研究熱點。

從增加圖像探測細節(jié)方面著重介紹了光譜圖像空間分辨率的提升方法，在現(xiàn)階段，融合方法的數(shù)據(jù)量比單圖方法的更大，因此能取得更好的效果。但隨著深度學習的發(fā)展，單幅光譜圖像空間超分辨算法仍有很大的發(fā)展空間。此外，對于間接測量型快照式光譜成像技術，其分辨率雖然不受探測器制約，但是存在重構質量低的問題。為解決該問題，基于深度學習的重建算法不僅需要面向數(shù)據(jù)學習復雜的映射關系，還要考慮基于物理模型的圖像先驗信息，形成數(shù)據(jù)和模型雙驅動機制。同時，采用通道注意力機制、在訓練數(shù)據(jù)中添加噪聲等策略提升重建算法的泛化性和魯棒性。

對于快照式光譜成像技術，技術原理的拓展具有前沿的研究意義，而數(shù)據(jù)處理的發(fā)展對于提升其在實際場景中的應用效果具有重要的實際意義。