基于非局部自相似性的雙相機(jī)壓縮光譜圖像重建算法

朱駿捷，趙巨峰，田海軍，崔光茫，石振

（1 杭州電子科技大學(xué) 碳中和新能源研究院，杭州 310018）

（2 杭州電子科技大學(xué) 電子信息學(xué)院，杭州 310018）

0 引言

高光譜成像相比常用的RGB（紅、綠、藍(lán)）三色成像，能夠拍攝更多的光譜通道，獲得更多被測目標(biāo)的特征和細(xì)節(jié)，從而廣泛應(yīng)用于遙感［1］、醫(yī)學(xué)成像［2］、環(huán)境監(jiān)測［3］等領(lǐng)域。高質(zhì)量、高精度的光譜成像與重建方法是本領(lǐng)域追求的目標(biāo)之一。

高空間、光譜、時(shí)間分辨率的光譜成像技術(shù)是未來的發(fā)展方向。為了快速獲取目標(biāo)光譜信息，BRADY D J 等提出了編碼孔徑快照式光譜成像系統(tǒng)（Coded Aperture Snapshot Spectral Imager，CASSI）［4-6］。這是基于壓縮感知理論［7］發(fā)展起來的一種快照式的光譜成像技術(shù)，它對三維光譜數(shù)據(jù)進(jìn)行稀疏低維采樣，在二維探測器上獲得混疊的光譜信息，然后通過計(jì)算重建出三維光譜數(shù)據(jù)，只需要一次曝光就能獲得目標(biāo)的光譜信息，具有獲取光譜視頻的能力。由于從二維采樣中重建三維光譜數(shù)據(jù)是一個(gè)欠定的問題，重建誤差不可避免，如何減小重建的誤差是該成像方式的關(guān)鍵問題之一。

為了提高重建質(zhì)量和精度，研究者們在重建框架中引入了不同的正則化方法。使用全變差正則化［8-9］作為約束的算法是一種常用的重建算法，它假設(shè)圖像具有分段光滑性，但是這種正則化方法會(huì)使圖像過度平滑，損失一些細(xì)節(jié)。針對采樣數(shù)量的限制，KITTLE D等［10］通過拍攝多幀編碼圖像來進(jìn)行重建，即通過增加采樣數(shù)量提升重建質(zhì)量，但同時(shí)也破壞了CASSI獲取光譜視頻的能力。WANG Lizhi等［11-12］在原來的CASSI基礎(chǔ)上增加一路相機(jī)進(jìn)行互補(bǔ)采樣，在提升重建質(zhì)量的同時(shí)保持了快照特性。TAN Jin等［13］將小波變換作為稀疏基，提出了一種基于3D維納濾波的近似消息傳遞法，但是這種預(yù)先定義的正交基不能很好地表示自然場景，因此限制了重建質(zhì)量。一些研究者通過研究高光譜圖像的內(nèi)在特性，例如非局部性自相似性［14-15］、低秩特性［14，16］等，提出了不同的重建模型，但通常重建時(shí)間過長或者重建質(zhì)量有限。近幾年，深度學(xué)習(xí)被應(yīng)用于CASSI重建，研究者們設(shè)計(jì)了不同的網(wǎng)絡(luò)結(jié)構(gòu)用來重建編碼圖像。MIAO Xin等［17］聯(lián)合注意力機(jī)制與U-net設(shè)計(jì)了λ-net來實(shí)現(xiàn)端到端的高光譜圖像重建。文獻(xiàn)［18］中提出了一種具有空間光譜自注意力機(jī)制的模塊來利用空間光譜相關(guān)性。然而，基于學(xué)習(xí)的方法通常需要數(shù)據(jù)來訓(xùn)練模型，并且重建效果容易受到訓(xùn)練數(shù)據(jù)的影響，限制了模型的泛化能力。

非局部自相似性在圖像重建、去噪、超分辨率［19-21］中有廣泛的應(yīng)用。在過去的一些方法中，由于只有退化的圖像而沒有更多的信息，相似性估計(jì)等操作都是通過重建的中間結(jié)果進(jìn)行的，并且在重建過程中需要不斷進(jìn)行估計(jì)，對于尺寸較大的光譜圖像非常費(fèi)時(shí)。為了獲得高質(zhì)量的光譜圖像重建，本文提出了一種基于非局部自相似性與雙相機(jī)系統(tǒng)的重建算法，用雙相機(jī)系統(tǒng)來獲取目標(biāo)信息，然后用RGB 觀測獲取的額外信息來輔助重建。首先，利用高光譜圖像存在的空間局部、非局部相似性以及譜間相關(guān)性，提出一種壓縮光譜圖像的重建模型，將恢復(fù)問題轉(zhuǎn)化為變分優(yōu)化模型；然后，采用RGB 觀測來輔助字典學(xué)習(xí)，并對目標(biāo)的光譜圖像存在的非局部相似性進(jìn)行估計(jì)；最后，采用一種交替優(yōu)化的方案來完成高光譜圖像的重建。

1 雙相機(jī)系統(tǒng)模型

雙相機(jī)系統(tǒng)如圖1 所示，入射光進(jìn)入系統(tǒng)后被平均分成兩份，一份進(jìn)入CASSI 系統(tǒng)被灰度相機(jī)捕獲，一份被RGB 相機(jī)捕獲。定義目標(biāo)場景為f0(i，j，λ)∈RM×N×Ω，其中i，j表示空間坐標(biāo)，λ表示光譜坐標(biāo)，M，N表示空間尺寸，Ω表示通道數(shù)量。CASSI 分支(i，j)的壓縮測量可以表示為

圖1 雙相機(jī)系統(tǒng)Fig.1 The system of dual camera

式中，ωc(λ)表示灰度相機(jī)的響應(yīng)曲線，T(i，j)表示編碼模板，φ(λ)表示棱鏡的色散函數(shù)。CASSI 分支的采樣可以寫成線性矩陣形式，即

式中，Hc∈RN(M+Ω-1)×MNΩ，表示感知矩陣，yc∈RN(M+Ω-1)和Vc∈RN(M+Ω-1)分別表示觀測圖像和噪聲的向量形式，F(xiàn)∈RMNΩ表示目標(biāo)高光譜圖像向量。對于RGB 相機(jī)分支，3 個(gè)通道的觀測圖像分別是目標(biāo)高光譜圖像有效光譜范圍內(nèi)的積分，RGB 分支的測量可以表示為

相應(yīng)的線性矩陣形式為

式中，Ho∈R3MN×MNΩ表示RGB 相機(jī)的前向響應(yīng)矩陣，Vo∈R3MN是觀測噪聲，則

式中，yr，yg，yb分別為3 個(gè)通道的觀測圖像的向量表示。聯(lián)合兩個(gè)分支的測量，整個(gè)雙相機(jī)系統(tǒng)的前向模型可以表示為

其中

2 高光譜圖像重建算法

高光譜圖像是一個(gè)高度稀疏的信號(hào)，在空間和譜間都存在著豐富的信息冗余。具體表現(xiàn)為：光譜維度上，自然場景的光譜可以由6～8 個(gè)主成分來表示［22］，并且同一場景中存在很多光譜曲線相似的區(qū)域?？臻g維度上，同一張圖上可以找到很多相似結(jié)構(gòu)的圖像塊。在充分考慮這些先驗(yàn)信息的基礎(chǔ)上，構(gòu)建了一種三維非局部稀疏表示模型來提升重建性能。

首先，使用RGB 觀測進(jìn)行輔助字典學(xué)習(xí)。將初始化的高光譜圖像F按步長為1 分割成空間尺寸為b×b×Ω的跨全光譜波段的重疊立方體塊。然后，將RGB 相機(jī)分支獲得的RGB 圖像的3個(gè)通道圖像也分別按步長為1 分割成尺寸為b×b的二維圖像塊。假設(shè)分別是RGB 三通道位于坐標(biāo)(i，j)的圖像塊的向量表示，定義

利用K 均值聚類對不同坐標(biāo)的Xi，j進(jìn)行分類，分成K個(gè)簇，然后以該聚類結(jié)果為指導(dǎo)將高光譜圖像對應(yīng)的立方體塊進(jìn)行相同的分類。定義Mk∈Rn×lk，表示第k個(gè)簇的立方體塊向量組成的矩陣。其中n=b×b×Ω表示立方體塊向量的長度，lk表示第k個(gè)簇的立方體塊個(gè)數(shù)。對每個(gè)簇的立方體塊矩陣使用主成分分析降維，獲取該簇的特征作為這個(gè)簇的字典，定義第k個(gè)簇的字典為Φk∈Rn×n。

定義向量xi，j∈Rn表示從高光譜圖像F中取出的一個(gè)三維光譜塊向量表示，處于坐標(biāo)(i，j)的位置，即

式中，Ri，j∈Rn×MNΩ是一個(gè)塊提取矩陣，從F中以步長為s提取三維光譜塊xi，j。根據(jù)聚類結(jié)果找到xi，j所屬的簇，利用獲取的字典Φk給當(dāng)前簇中的塊xi，j進(jìn)行稀疏編碼，通過一個(gè)簇中共有的特征對當(dāng)前簇中的其它塊進(jìn)行約束。對于給定的字典Φk，在充分考慮高光譜圖像的譜間相似性、空間局部相似性與非局部相似性的基礎(chǔ)上，構(gòu)建重建模型為

式中，xi，j，q表示在圖像塊xi，j為中心的一個(gè)窗口Ωi，j內(nèi)第q個(gè)相似塊，ωi，j，q是相應(yīng)的加權(quán)系數(shù)。

由于除了退化的圖像外沒有更多的信息，xi，j的相似 塊xi，j，q通常是根據(jù)重建的中間結(jié)果來估計(jì)［19-21］，但是對于尺寸比較大的三維光譜塊非常費(fèi)時(shí)，并且在重建過程中需要不斷進(jìn)行相似塊的估計(jì)，進(jìn)一步增加了時(shí)間花費(fèi)。另一方面，由于重建誤差的存在，從中間結(jié)果來估計(jì)相似塊不一定準(zhǔn)確。針對這一問題，用雙相機(jī)系統(tǒng)的RGB 觀測獲取的額外信息來進(jìn)行相似塊的估計(jì)，由于RGB 圖像每一個(gè)通道是目標(biāo)高光譜圖像一小段光譜范圍的積分，如果兩個(gè)圖像塊在RGB 三個(gè)通道的距離都非常近，那么目標(biāo)高光譜圖像的兩個(gè)光譜塊之間距離也非常近。

以Dm，i的大小來估計(jì)目標(biāo)高光譜圖像的兩個(gè)圖像塊之間的相似度。因此，可以定義

通過Dm，i的大小來為每個(gè)三維圖像塊xi，j找到與它距離最近的J個(gè)塊。

在實(shí)驗(yàn)過程中，正則化參數(shù)η的大小對重建結(jié)果影響明顯，如果η比較大，能比較好地抑制稀疏編碼噪聲，但同時(shí)也會(huì)抑制一些有用的成分。當(dāng)η比較小時(shí)，會(huì)導(dǎo)致重建時(shí)受稀疏編碼噪聲影響較大，出現(xiàn)收斂速度過慢或者重建結(jié)果變差的問題。加權(quán)l(xiāng)p范數(shù)能提升稀疏性，得到更好的結(jié)果［23-24］，因此設(shè)置了自適應(yīng)參數(shù)

式中，l表示向量αi，j中第l個(gè)元素，c是一個(gè)預(yù)先設(shè)置的常數(shù)，ε是一個(gè)比較小的常數(shù)。因此，將重建模型擴(kuò)展為

式中，ηi，j是一個(gè)對角矩陣，ηi，j，l是對角線上第l個(gè)元素的值。

為了求解式（15），將優(yōu)化問題分解成兩個(gè)子優(yōu)化問題，然后交替優(yōu)化來求解。在(t+1)次迭代中，對于固定的F，稀疏編碼系數(shù)α的優(yōu)化為

用迭代收縮算法［25］來求解式（16），經(jīng)過計(jì)算，α中的每個(gè)元素可以由式（17）得到。

式中，l是一個(gè)向量中的第l個(gè)元素，αijl表示向量αi，j的第l個(gè)元素。

對于固定的α、F可以通過式（19）的子問題進(jìn)行更新。

這是一個(gè)二次優(yōu)化問題，可以求出閉合解為

由于矩陣H尺寸很大，無法直接求解，用共軛梯度下降法來求近似解。通過式（17）和式（20）交替更新α和F，然后每T次迭代更新一次字典Φk，直到收斂，就能獲得重建的目標(biāo)光譜圖像。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)細(xì)節(jié)

為了證明所提方法的有效性，用CAVE 數(shù)據(jù)集［26］進(jìn)行測試。CAVE 數(shù)據(jù)集包含了31 幅400～700 nm 波段的光譜圖像，分辨率為10 nm。實(shí)驗(yàn)中，測試圖片裁剪出大小256×256×31 的中心區(qū)域作為參考圖像，并歸一化到［0，1］。實(shí)驗(yàn)中光譜塊尺寸大小為4×4×31，采樣步長s為2×2，簇的個(gè)數(shù)K為50，對于每個(gè)圖像塊都在25×25 的窗口中找到距離最近的15 個(gè)塊，迭代次數(shù)為400，編碼模板服從p=0.5 的伯努利分布。實(shí)驗(yàn)中的對比方法有兩種，分別是基于秩最小化的算法（DeSCI）［14，27］，基于自監(jiān)督神經(jīng)網(wǎng)絡(luò)的算法（PnP-DIP）［28-29］。本文方法與DeSCI 的實(shí)驗(yàn)是在CPU 為i7-10750H，內(nèi)存為16 G 的筆記本電腦上使用MATLAB 2016a 完成，PnP-DIP 實(shí)驗(yàn)是在GPU 1080Ti的服務(wù)器上完成。

為了評估重建圖像的質(zhì)量，用峰值信噪比（Peak Signal to Noise Ratio，PSNR）、光譜角制圖（Sepctral Angle Mapping，SAM）［30］、結(jié)構(gòu)相似度（Structural Similarity，SSIM）［31］來衡量重建質(zhì)量。其中PSNR 與SSIM 衡量重建的空間質(zhì)量，值越大表示空間信息重建質(zhì)量越好；SAM 衡量重建的光譜曲線準(zhǔn)確度，值越小表示重建的曲線與真實(shí)曲線越相似。

3.2 仿真數(shù)據(jù)測試

3.2.1 重建質(zhì)量與精度

在CAVE 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表1 所示，每個(gè)圖像的最佳結(jié)果以粗體突出顯示。可以看出本文方法在PSNR、SSIM、SAM 上都有顯著的提高，在空間質(zhì)量和光譜精度上優(yōu)于其它方法。觀察PSNR 的變化，DeSCI 的平均PSNR 是25.80 dB，PnP-DIP 是30.45 dB，本文方法是42.68 dB，相比DeSCI 平均提升了16.88 dB，約65%，比PnP-DIP 平均提升12.23 dB，約40%。從SSIM 和SAM 中可以看出，本文方法重建的光譜圖像在空間結(jié)構(gòu)和光譜曲線的精度上也是最高的。

表1 CAVE 數(shù)據(jù)集重建結(jié)果對比Table 1 Comparison of reconstruction results of CAVE dataset

3.2.2 重建視覺效果對比

為了進(jìn)一步比較重建質(zhì)量，圖2 給出了不同方法在670 nm 波段的重建圖像，對重建圖像的視覺質(zhì)量進(jìn)行比較。可以看出本文方法在視覺效果上好于其他方法。DeSCI 利用了高光譜圖像的組稀疏性，通過加權(quán)核范數(shù)最小化的方式進(jìn)行重建，這可能會(huì)導(dǎo)致重建的圖像比較平滑。PnP-DIP 通過從觀測圖像中學(xué)習(xí)先驗(yàn)，并在重建過程中不斷優(yōu)化網(wǎng)絡(luò)，獲得了更好的重建結(jié)果，但仍然存在明顯的偽影。從兩個(gè)場景的重建圖片和局部放大圖片中，可以看出本文方法對于一些細(xì)小的紋理仍然能比較好的地重建出來，而其他方法在細(xì)節(jié)上都存在不同程度的損失。本文所提方法在視覺效果上也明顯好于其他三種方法，不管在定量還是定性的比較上都獲得了更好的效果。

圖2 chart 和glass 在670 nm 的重建結(jié)果對比。第一行為chart 場景，第二行為glass 場景Fig.2 Comparison of reconstruction results of chart and glass at 670 nm.The first line is the chart scene，the second line is the glass scene

3.2.3 光譜維度重建誤差分析

為了直觀比較光譜域的重建誤差，取重建的高光譜圖像chart 中兩點(diǎn)進(jìn)行比較，圖3 顯示了A、B兩點(diǎn)在不同方法下各個(gè)波段的絕對誤差。在所有結(jié)果中，本文方法在所有波段都有最小的重建誤差，且較為穩(wěn)定，其他方法在不同波段的重建誤差波動(dòng)較大。表2 顯示了chart 場景重建結(jié)果所有點(diǎn)光譜曲線平均絕對誤差的均值，可以看出本文方法在整個(gè)場景光譜曲線的重建上也有明顯更小的誤差。

圖3 光譜曲線重建誤差對比Fig.3 Comparison of spectral curve reconstruction errors

表2 平均絕對誤差對比Table 2 Comparison of mean absolute error

3.2.4 兼顧質(zhì)量的重建效率分析

首先對比了本文方法與DeSCI，PnP-DIP 的計(jì)算時(shí)間。針對chart 場景，三種方法重建時(shí)間如表3 所示。DeSCI 需要進(jìn)行相似塊的匹配需要花費(fèi)較多的時(shí)間，但是由于算法較快的收斂速度所以所需的時(shí)間比本文方法要少。PnP-DIP 從觀測圖像中學(xué)習(xí)先驗(yàn)，需要花費(fèi)較長的時(shí)間，但是重建結(jié)果要好于DeSCI。本文方法重建模型比較復(fù)雜，達(dá)到收斂所需的迭代次數(shù)比較多，所以花費(fèi)時(shí)間較多，但是仍比PnP-DIP 要快，并且重建質(zhì)量在三種方法中是最高的。

表3 chart 場景中不同方法重建時(shí)間對比Table 3 Comparison of reconstruction time of different methods in chart scenarios

事實(shí)上，本文方法在兼顧質(zhì)量的重建效率提升方面也做了改進(jìn)工作，主要體現(xiàn)在針對雙相機(jī)體系，提出的RGB 輔助字典學(xué)習(xí)與非局部相似性估計(jì)有效降低了重建時(shí)間。為了對比提出的RGB 輔助字典學(xué)習(xí)與非局部相似性估計(jì)的策略和過去常用的中間結(jié)果字典學(xué)習(xí)與相似性估計(jì)［23-25］策略的重建結(jié)果與重建效率的區(qū)別，用本文提出的重建模型在不同場景下測試，同時(shí)在chart 場景測試了兩種方法的重建時(shí)間。重建的PSNR 對比結(jié)果如圖4 所示，重建效率對比如表4 所示。從圖中可以看出兩種方法重建結(jié)果非常接近，但是在重建時(shí)間上RGB 觀測輔助重建的方法節(jié)約了約47%。

表4 chart 場景中RGB 輔助字典學(xué)習(xí)與相似性估計(jì)方法以及中間結(jié)果字典學(xué)習(xí)相似性估計(jì)方法的重建時(shí)間對比Table 4 Comparison of reconstruction time between RGB assisted dictionary learning and similarity estimation method and intermediate result dictionary learning similarity estimation method in the chart scene

圖4 RGB 輔助字典學(xué)習(xí)與相似性估計(jì)方法以及中間結(jié)果字典學(xué)習(xí)與相似性估計(jì)方法的結(jié)果對比Fig.4 Comparison between RGB assisted dictionary learning and similarity estimation method and intermediate result dictionary learning similarity estimation method

3.3 實(shí)拍數(shù)據(jù)測試

搭建了如圖5 所示的系統(tǒng)來進(jìn)一步測試所提方法。該系統(tǒng)使用的物鏡為azure-0918M3M（焦距9 mm），中繼鏡為Edmund C45762，灰度相機(jī)為PointGray FL2-20S4M，RGB 相機(jī)為PointGray FL2-20S4C，兩個(gè)相機(jī)的像素尺寸都為4.4 μm×4.4 μm。編碼模板是一個(gè)300×300 的隨機(jī)二值矩陣，每個(gè)最小單元尺寸為8.8 μm×8.8 μm。棱鏡為定制的雙阿米西棱鏡，該棱鏡使得550 nm 的光能筆直穿過棱鏡。

圖5 雙相機(jī)成像系統(tǒng)Fig.5 Dual camera imaging system

系統(tǒng)拍攝的圖像如圖6，重建的結(jié)果如圖7 所示。展示了543 nm、606 nm、650 nm 三個(gè)波段的重建結(jié)果，并使用濾光片拍攝圖像作為參考?？梢钥闯霰疚姆椒ㄖ亟ǖ膱D像視覺效果要更好，保留了更多的細(xì)節(jié)，與參考圖像相似度最高。

圖6 兩個(gè)分支的觀測圖像Fig.6 Observation images of two branches

圖7 實(shí)拍數(shù)據(jù)重建結(jié)果Fig.7 The reconstruction results of real data

3.4 參數(shù)的討論

重建過程中，圖像塊大小b、采樣步長s和參數(shù)c對重建結(jié)果的影響比較明顯，結(jié)果如圖8 所示。圖像塊太小時(shí)會(huì)破壞圖像塊的結(jié)構(gòu)特征導(dǎo)致結(jié)果變差；圖像塊太大會(huì)使得恢復(fù)信號(hào)的難度增大，并且增加重建的耗時(shí)。采樣步長比較小時(shí)會(huì)放大重建的誤差使得結(jié)果變差，并且重建時(shí)間也會(huì)變長；而步長太大時(shí)塊效應(yīng)會(huì)變得明顯。將圖像塊大小設(shè)置為4×4×31，采樣步長s設(shè)置為2。

參數(shù)c的影響如圖8（c）所示，可以看出c比較大時(shí)迭代前期PSNR 提升會(huì)比較快，收斂更快，c比較小時(shí)收斂比較慢，但最后PSNR 值更高，重建的空間誤差更小。為了平衡這兩個(gè)因素選擇c=0.001 5。

圖8 不同參數(shù)對重建結(jié)果的影響Fig.8 Influence of different parameters on reconstruction results

4 結(jié)論

本文提出了一種基于非局部自相似性與雙相機(jī)的高光譜圖像重建方法。利用高光譜圖像的內(nèi)在特性，包括空間自相似性、光譜相關(guān)性和聯(lián)合相關(guān)性，構(gòu)建了模型來提高重建性能，并使用RGB 觀測來輔助字典學(xué)習(xí)和相似塊估計(jì)，最后通過迭代重建出高光譜圖像。實(shí)驗(yàn)表明本文提出的重建模型能大幅提升光譜圖像的空間和光譜維度的重建質(zhì)量，并且使用RGB 觀測輔助重建有效減少重建時(shí)間。雖然本文方法能獲得高的重建質(zhì)量，且在RGB 觀測的輔助下降低了重建時(shí)間，但是重建時(shí)間仍然比較長，如何進(jìn)一步減少重建時(shí)間是未來的研究方向之一。