肖樹林,胡長虹 ,高路堯,顏克雄,楊春吉,李洪利
(1. 中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所,吉林長春 130033;2. 中國科學(xué)院大學(xué),北京 100049)
傳統(tǒng)光譜成像分辨率的改變通過可調(diào)諧濾波器和空間光調(diào)制器實現(xiàn)[1-3],這些插入器件會導(dǎo)致光譜成像系統(tǒng)結(jié)構(gòu)復(fù)雜、體積龐大。此外,棱鏡、光柵、濾波器等窄帶分光器件存在光譜能量利用率低、分光譜段少、光譜圖像畸變大等問題[4]。導(dǎo)致這些問題的主要原因是傳統(tǒng)光譜成像的光譜均勻采樣機(jī)制消耗大量探測器面積或掃描時間以滿足分辨率要求[5],因此為解決傳統(tǒng)變分辨率光譜成像存在的問題,應(yīng)從光譜的采樣機(jī)制入手。
隨著微納光學(xué)與稀疏信號處理理論的發(fā)展,寬帶濾波器(如隨機(jī)濾光片、量子點陣列[6]、光子晶體陣列和具有可調(diào)諧帶隙的納米線[7])光譜成像技術(shù)逐漸成熟。寬帶光譜成像原理是將入射光的光譜信息由一組寬帶濾波器進(jìn)行編碼,在探測器的不同位置探測編碼后的光強(qiáng)響應(yīng),然后利用算法重建光譜,其優(yōu)點在于每個像素使用少量的濾光結(jié)構(gòu)實現(xiàn)了較多波長光譜信息的復(fù)原[8],大大提高了光譜的采樣效率與光能利用率。其中,對于具有隨機(jī)透過率的寬帶濾光片(隨機(jī)濾光片),可以利用成熟的光學(xué)薄膜技術(shù),設(shè)計成透過率誤差極小的像元級隨機(jī)濾光片陣列,通過與探測器集成,極大地縮小了光譜成像系統(tǒng)的體積。隨機(jī)濾光片光譜編碼-解碼(編解碼)結(jié)構(gòu)最早由韓國光州科學(xué)技術(shù)院的J. Oliver 于2013 年提出[9],J. Oliver 利用隨機(jī)濾光片陣列(40×1)對入射光光譜進(jìn)行編碼,由壓縮感知算法實現(xiàn)了7 倍于窄帶濾光片分辨率的光譜重構(gòu),但受限于當(dāng)時薄膜加工水平,未能將隨機(jī)濾光片光譜編解碼結(jié)構(gòu)應(yīng)用于光譜成像。2019 年,清華大學(xué)崔開宇、蔡旭升等人設(shè)計了規(guī)模達(dá)155 216、400 種類型的像元級可重構(gòu)寬帶超表面陣列,利用壓縮感知算法復(fù)原了由動態(tài)超表面元胞編碼后的光譜,實現(xiàn)最高光譜分辨率可達(dá)0.8 nm 的變分辨率光譜成像[10],但由于隨機(jī)超表面設(shè)計獨立于重構(gòu)算法,在組合像元較少時,光譜復(fù)原精度較低。2021 年,浙江大學(xué)劉旭、郝翔團(tuán)隊研究了基于深度學(xué)習(xí)的光譜編解碼技術(shù),并提出了隨機(jī)濾光片與重構(gòu)算法協(xié)同設(shè)計的思想,大大提高了重構(gòu)精度、重構(gòu)速度與抗噪聲性能[11],同時也為高精度、低時延變分辨率光譜成像的實現(xiàn)提供了新思路。
本文基于隨機(jī)濾光片光譜編解碼框架,介紹壓縮感知和深度學(xué)習(xí)兩種光譜重構(gòu)算法及其存在的問題,闡述隨機(jī)濾光片與重構(gòu)算法協(xié)同優(yōu)化原理。以像元級隨機(jī)濾光片陣列光譜成像系統(tǒng)為應(yīng)用平臺,提出基于協(xié)同優(yōu)化方法的像元映射變分辨率光譜成像重構(gòu)算法,通過多分辨率重構(gòu)網(wǎng)絡(luò)并行訓(xùn)練,得到2×2 陣列、40 譜段與4×4 陣列、120 譜段的光譜重構(gòu)網(wǎng)絡(luò)。最后輸入光譜圖像驗證集進(jìn)行仿真驗證。
自然事物普遍存在稀疏性[12],即:不同表達(dá)方式描述一個自然事物所需的符號數(shù)量不盡相同,但總存在最小符號數(shù)量的表達(dá)方式,且通常這個表達(dá)方式所需的符號數(shù)量遠(yuǎn)小于直觀表達(dá)的符號數(shù)量。隨機(jī)濾光片光譜編解碼即利用光譜的稀疏性,使用具有隨機(jī)透過率分布的濾光片對入射光譜進(jìn)行編碼,將連續(xù)的光譜壓縮表示成低維的光強(qiáng)向量,然后通過解碼算法還原成人類能夠直觀理解的光譜向量。理論上光譜能被壓縮的最小維度取決于光譜的稀疏性,但實際工程中由具體需求決定,通常設(shè)計者會通過損失一些重構(gòu)精度以降低算法復(fù)雜度。
根據(jù)不同的優(yōu)化思路,目前有壓縮感知和深度學(xué)習(xí)這兩種重構(gòu)算法,其中壓縮感知重構(gòu)算法依靠稀疏降維的方式實現(xiàn)欠定方程求解,利用稀疏解還原光譜向量;深度學(xué)習(xí)重構(gòu)算法則依靠欠完備自編碼器的自動特征提取與數(shù)據(jù)生成能力實現(xiàn)光譜的重構(gòu)。這兩種算法均存在因物理結(jié)構(gòu)與算法獨立設(shè)計導(dǎo)致的優(yōu)化問題,而隨機(jī)濾光片與光譜重構(gòu)算法的協(xié)同設(shè)計可以很好地解決這個問題。
隨機(jī)濾光片組對原始光譜S(λ)進(jìn)行壓縮編碼,由光強(qiáng)探測器感應(yīng)編碼后的光強(qiáng)i,然后對探測器光電流進(jìn)行模-數(shù)轉(zhuǎn)換(ADC)得到數(shù)字量I,再將I輸入數(shù)字信號處理器(DSP),執(zhí)行壓縮感知算法,完成光譜重構(gòu)。壓縮感知光譜編解碼原理如圖1(彩圖見期刊電子版)所示。
圖1 壓縮感知光譜編解碼原理Fig. 1 Principle diagram of compressed sensing spectral encoding-decoding
壓縮編碼后的光強(qiáng)大小為
其中,S(λ)的 波長范圍為λ1至λ2(λ1<λ2);Tn(λ)表示編號為n的隨機(jī)濾光片的透過率,一共有N種隨機(jī)濾光片;in為S(λ)由Tn(λ) 編碼后的光強(qiáng)。設(shè)i=[i1,i2,···,iN]為編碼光強(qiáng)向量,則由數(shù)據(jù)采集系統(tǒng)得到離散化光強(qiáng)向量I=[I1,I2,···,IN]。根據(jù)壓縮感知理論,對原始光譜S(λ)的編解碼可以表示成以下兩個過程:
A.稀疏表示:
B.信號重構(gòu):
壓縮感知算法為了滿足有限等距性質(zhì)(Restricted Isometry Propery,RIP )條件,要求觀測矩陣T與S的K-稀疏完備正交基 Φ不相關(guān)[14-15]。通常T取普適的獨立同分布高斯隨機(jī)矩陣,導(dǎo)致隨機(jī)濾光片的設(shè)計與加工難度增大[16]。為了降低薄膜加工難度,另一種方法是通過隨機(jī)生成薄膜厚度設(shè)計隨機(jī)濾光片組,然后根據(jù)該組濾光片設(shè)計重構(gòu)算法,但這種方法得到的濾光片隨機(jī)特性難以控制,設(shè)計壓縮感知算法難度較大,而基于深度學(xué)習(xí)的欠完備自編碼器因其強(qiáng)大的自動特征提取能力可以較好地適用于這種方法。
深度學(xué)習(xí)光譜編碼過程與壓縮感知光譜編碼過程相似,兩者的不同點在于重構(gòu)算法。深度學(xué)習(xí)光譜編解碼原理如圖2(彩圖見期刊電子版)所示。
圖2 深度學(xué)習(xí)光譜編解碼原理Fig. 2 Principle diagram of deep learning spectral encoding-decoding
深度學(xué)習(xí)光譜重構(gòu)算法的主要目標(biāo)是訓(xùn)練得到最優(yōu)的光譜重構(gòu)網(wǎng)絡(luò)。將低維離散化光強(qiáng)向量I輸入重構(gòu)網(wǎng)絡(luò)RECω得 到高維的光譜向量,通過優(yōu)化調(diào)整RECω的參數(shù)使得不斷逼近原始光譜S。其優(yōu)化表達(dá)如下:
式中 λ為正則化因子, ω為神經(jīng)網(wǎng)絡(luò)參數(shù),=RECω(I)為 重構(gòu)光譜,R(ω)為正則項。該式可分為兩項:前一項為重構(gòu)誤差項,表示與S的擬合程度;后一項R(ω)正則項為神經(jīng)網(wǎng)絡(luò)參數(shù)約束項,用于防止重構(gòu)網(wǎng)絡(luò)過擬合,一般采用l2正則化約束,使得 ‖ω‖2≤C(0≤C<∞),兩項相加構(gòu)成損失項,優(yōu)化使得損失項值接近零。優(yōu)化過程如下:首先是正向傳播得到光譜的預(yù)測值,然后計算損失值及其對 ω的梯度,根據(jù)該梯度由反向傳播算法更新網(wǎng)絡(luò)參數(shù) ω。重復(fù)這個過程使得損失值下降接近零,從而實現(xiàn)網(wǎng)絡(luò)的最優(yōu)化。
深度學(xué)習(xí)光譜編解碼實質(zhì)上是一種欠完備自編碼框架。利用隨機(jī)濾光片實現(xiàn)光譜的物理編碼,由光譜重構(gòu)網(wǎng)絡(luò)實現(xiàn)光譜的數(shù)字解碼,通過強(qiáng)制設(shè)定編碼輸出I的維度(即隨機(jī)濾光片的種類N)重構(gòu)網(wǎng)絡(luò)學(xué)習(xí)光譜數(shù)據(jù)S中的最顯著的特征,以得到光譜數(shù)據(jù)在該編碼維度下的最優(yōu)表示[17],同時也使得重構(gòu)網(wǎng)絡(luò)具備一定的去噪能力。但光譜重構(gòu)精度嚴(yán)重依賴于隨機(jī)濾光片透過率分布(由薄膜材料和厚度決定),導(dǎo)致在確定的編碼維度下難以實現(xiàn)最優(yōu)的光譜編解碼性能。因而如何將隨機(jī)濾光片設(shè)計與光譜重構(gòu)網(wǎng)絡(luò)訓(xùn)練相關(guān)聯(lián)是解決該問題的重點。
在基于壓縮感知和深度學(xué)習(xí)的隨機(jī)濾光片光譜編解碼框架中,隨機(jī)濾光片和重構(gòu)算法的設(shè)計是獨立進(jìn)行的。為了高精度地重構(gòu)原始光譜,這種獨立設(shè)計方式往往需要復(fù)雜的隨機(jī)透過率分布與較多的隨機(jī)濾光片種類,導(dǎo)致隨機(jī)濾光片設(shè)計難度大、光譜采樣效率低,無法充分發(fā)揮隨機(jī)濾光片光譜編解碼架構(gòu)的潛力。為此,浙江大學(xué)劉旭、郝翔團(tuán)隊提出了一種隨機(jī)濾光片與光譜重構(gòu)算法協(xié)同設(shè)計方法[11]。
協(xié)同設(shè)計方法通過將隨機(jī)濾光片透過率計算與光譜重構(gòu)網(wǎng)絡(luò)訓(xùn)練相結(jié)合,實現(xiàn)隨機(jī)濾光片與光譜重構(gòu)網(wǎng)絡(luò)的最佳匹配。此外,通過約束隨機(jī)濾光片的寬帶透過率,一方面提高了系統(tǒng)光譜能量利用率,另一方面平衡了像元光能量的接收效率,從而提高了光譜成像的信噪比與擴(kuò)大了動態(tài)范圍。隨機(jī)濾光片與光譜重構(gòu)網(wǎng)絡(luò)協(xié)同設(shè)計如圖3(彩圖見期刊電子版)所示。
圖3 隨機(jī)濾光片與光譜重構(gòu)網(wǎng)絡(luò)協(xié)同設(shè)計Fig. 3 Collaborative design of random filter and spectral reconstruction network
協(xié)同設(shè)計方法關(guān)聯(lián)了光譜重構(gòu)網(wǎng)絡(luò)訓(xùn)練與濾光片透過率計算過程,將隨機(jī)濾光片的結(jié)構(gòu)參數(shù)P[n]=[pn1,pn2,···,pns],n=1,2,···N作為重構(gòu)網(wǎng)絡(luò)的優(yōu)化參數(shù)。計算P[n]對應(yīng)的隨機(jī)濾光片透率T[n],然后由點積運算得到光譜數(shù)據(jù)S對T[n]的光譜響應(yīng)光強(qiáng)In[11],將其輸入重構(gòu)網(wǎng)絡(luò)計算出光譜完成正向傳播,然后根據(jù)損失函數(shù)(均方誤差)計算損失值,再通過損失值梯度反向傳播更新重構(gòu)網(wǎng)絡(luò)參數(shù),重復(fù)這個過程直至損失值收斂接近零。其優(yōu)化表達(dá)如下:
其中,P為隨機(jī)濾光片結(jié)構(gòu)參數(shù)向量,TF(P)為結(jié)構(gòu)參數(shù)為P的隨機(jī)透過率,TF(P)*S為入射光經(jīng)隨機(jī)濾光片編碼后的光強(qiáng),RECω為光譜重構(gòu)網(wǎng)絡(luò),R用于約束隨機(jī)濾光片的結(jié)構(gòu)參數(shù)范圍。
由2.2 節(jié)知,深度學(xué)習(xí)光譜編解碼通過指定編碼維度,由欠完備自編碼器完成該維度下的光譜特征提取與光譜信息重構(gòu),因此編碼維度的大小直接影響重構(gòu)光譜與原始光譜的擬合精度。顯然,編碼維度越高,提取的特征維度越高,重構(gòu)的光譜也就越精細(xì),對應(yīng)的分辨率就越高,因而通過設(shè)定不同的編碼維度可以實現(xiàn)不同分辨率的光譜復(fù)原。像元映射變分辨率光譜重構(gòu)即利用以上思路,基于像元級隨機(jī)濾光片陣列光譜成像系統(tǒng),結(jié)合協(xié)同設(shè)計方法實現(xiàn)高精度的變分辨率光譜成像。
本文利用欠完備自編碼器的自動特征提取能力提出了像元映射變分辨率光譜成像,通過將16 種不同種類的隨機(jī)濾光片以2×2 陣列(共4 組)和4×4 陣列(共1 組)進(jìn)行組合以設(shè)定不同的編碼維度,然后并行訓(xùn)練出各個編碼維度下對應(yīng)分辨率的光譜重構(gòu)網(wǎng)絡(luò)。像元映射變分辨率光譜重構(gòu)網(wǎng)絡(luò)訓(xùn)練如圖4(彩圖見期刊電子版)所示。
圖4 中為2×2 陣列(編碼維度為4)與4×4 陣列(編碼維度為16)光譜重構(gòu)網(wǎng)絡(luò)并行訓(xùn)練結(jié)構(gòu)。原始光譜數(shù)據(jù)SORI為光譜圖像數(shù)據(jù)集(由高分辨率成像光譜儀采集)中相鄰4 個像元的光譜數(shù)據(jù)。下面介紹隨機(jī)濾光片結(jié)構(gòu)參數(shù)優(yōu)化與兩個分辨率網(wǎng)絡(luò)的并行訓(xùn)練過程。
圖4 像元映射變分辨率光譜重構(gòu)網(wǎng)絡(luò)訓(xùn)練Fig. 4 Spectral reconstruction network training of pixel mapping variable resolution
(1)2×2 陣列重構(gòu)網(wǎng)絡(luò)訓(xùn)練過程:每個像元的光譜數(shù)據(jù)由4 類隨機(jī)濾光片編碼,4 個像元需4 組隨機(jī)濾光片組(共16 種隨機(jī)濾光片),將編碼(SORI與T做點積運算)后的4 組光強(qiáng)數(shù)值(共16 個)輸入低分辨率重構(gòu)網(wǎng)絡(luò)RECωLR進(jìn)行重構(gòu),輸出4 組低分辨率重構(gòu)數(shù)據(jù)LR分別與原始數(shù)據(jù)SORI的 4 組下采樣SLR進(jìn)行擬合;(2)4×4 陣列重構(gòu)網(wǎng)絡(luò)訓(xùn)練:根據(jù)空間相鄰像素的光譜相似性,將原始數(shù)據(jù)SORI進(jìn)行疊加,得到組合像元的光譜數(shù)據(jù)(實際系統(tǒng)也是如此),疊加后的光譜數(shù)據(jù)經(jīng)16 種隨機(jī)濾光片編碼,將編碼后的光強(qiáng)數(shù)值(共16 個)輸入高分辨率重構(gòu)網(wǎng)絡(luò)RECωHR,輸出高分辨率光譜數(shù)據(jù)HR與原始數(shù)據(jù)SORI的 疊加或SORI疊加的下采樣SHR進(jìn)行擬合。
(1)、(2)過程并行執(zhí)行,共用一套隨機(jī)濾光片結(jié)構(gòu)參數(shù),以均方誤差加權(quán)和為損失值,計算損失函數(shù)對網(wǎng)絡(luò)參數(shù)的梯度,反向傳播調(diào)整網(wǎng)絡(luò)參數(shù)和隨機(jī)濾光片結(jié)構(gòu)參數(shù)。重復(fù)這個過程直至損失值收斂接近零,使得光譜數(shù)據(jù)SORI經(jīng)隨機(jī)濾光片編碼后,能被重構(gòu)網(wǎng)絡(luò)以較高的精度解碼復(fù)原。像元映射變分辨率光譜重構(gòu)網(wǎng)絡(luò)優(yōu)化表達(dá)如下:
式中α1,α2為損失權(quán)重,用于調(diào)整重點訓(xùn)練的網(wǎng)絡(luò)。
隨機(jī)濾光片的結(jié)構(gòu)參數(shù)主要有薄膜層數(shù)與每層薄膜的厚度。本文涉及的隨機(jī)濾光片工作在可見光波段,薄膜材料為TiO2與SiO2,層數(shù)為10。將每層薄膜的厚度作為優(yōu)化參數(shù),同時將每層薄膜厚度約束在合理的工藝范圍之內(nèi),利用傳輸矩陣法計算給定結(jié)構(gòu)參數(shù)下隨機(jī)濾光片的透過率。訓(xùn)練過程中通過反向傳播算法不斷調(diào)整每一塊隨機(jī)濾光片各層薄膜的厚度,使得在該組薄膜厚度下的隨機(jī)濾光片透過率對入射光譜的編碼效率與重構(gòu)精度最高。
此外,光譜成像系統(tǒng)的能量增益由光學(xué)系統(tǒng)的F/#、濾光片的透過率、探測器的響應(yīng)度和重構(gòu)網(wǎng)絡(luò)的放大率決定,前兩者限制了系統(tǒng)的光譜能量收集能力,是光學(xué)設(shè)計和鍍膜關(guān)注的重點,后兩者一定程度上影響系統(tǒng)的動態(tài)范圍。利用隨機(jī)濾光片與光譜重構(gòu)算法協(xié)同設(shè)計方法,通過設(shè)定合適的薄膜層數(shù),在訓(xùn)練過程中加入光譜能量約束,即
從而將隨機(jī)濾光片的寬帶透過率控制在較高范圍內(nèi),進(jìn)一步提高光譜能量利用率與光譜重構(gòu)網(wǎng)絡(luò)的動態(tài)范圍。
變分辨率光譜重構(gòu)網(wǎng)絡(luò)在整個訓(xùn)練過程對隨機(jī)濾光片的結(jié)構(gòu)參數(shù)與能量利用率進(jìn)行約束優(yōu)化,使得隨機(jī)濾光片組的透過率兼顧各個分辨率下光譜重構(gòu)精度,在全局上得到最優(yōu)的隨機(jī)濾光片光譜響應(yīng),但對于單個分辨率網(wǎng)絡(luò)卻未必(由α1,α2調(diào)整)。
前面討論的是成像與光譜采集的基本單元(相當(dāng)于成像光譜儀的一個像素),要實現(xiàn)全視場的光譜圖像采集,需要通過掃描或者重復(fù)排列這些基本單元以歷遍整個視場,下面討論重復(fù)排列基本單元形成面陣探測器以采集全視場光譜圖像的方法。
利用光刻工藝,將基本單元所需的隨機(jī)濾光片設(shè)計成像元大小,以2 維陣列形式排列在玻璃基板上,通過與探測器集成形成面陣光譜成像探測器。像元級隨機(jī)濾光片陣列光譜成像系統(tǒng)如圖5(彩圖見期刊電子版)所示。
圖5 像元級隨機(jī)濾光片光譜成像Fig. 5 Pixel random filter spectral imaging
圖5 中成像與光譜采集的基本單元為4×4 光譜探測單元。該單元通過在探測器的4×4 像元上分別集成不同透過率、像元大小的隨機(jī)濾光片完成對入射光光譜的編碼與編碼光強(qiáng)采集,將4×4光譜探測單元周期性復(fù)制便可形成不同規(guī)模的光譜成像探測器。實際制作過程中,根據(jù)探測器規(guī)模與像元大小設(shè)計像元級隨機(jī)濾光片陣列,在顯微鏡下通過高精度對準(zhǔn)操作實現(xiàn)與探測器的集成。
為了實現(xiàn)光譜信息的精確采集,需要根據(jù)探測任務(wù)選擇合適的空間-光譜分辨率,然后由變分辨率機(jī)構(gòu)調(diào)整光學(xué)系統(tǒng)空間分辨率[18-19],使得入射同一組隨機(jī)濾光片陣列的光來自物方同一區(qū)域。像元級隨機(jī)濾光片變分辨率動態(tài)轉(zhuǎn)換示意如圖6 所示。
圖6 中,4×4 陣列利用16 片隨機(jī)濾光片對入射光譜進(jìn)行采集,光譜分辨率高而空間分辨率低;2×2 陣列利用4 片隨機(jī)濾光片對入射光譜進(jìn)行采集,光譜分辨率低而空間分辨率高。變分辨率光學(xué)系統(tǒng)通過改變光學(xué)系統(tǒng)分辨率,使得光學(xué)成像的最小彌散斑與對應(yīng)的陣列大小相匹配,從而實現(xiàn)變分辨率成像。
圖6 像元隨機(jī)濾光片變分辨率動態(tài)轉(zhuǎn)換示意Fig. 6 Variable resolution dynamic conversion of a pixel random filter
光譜成像探測器完成光強(qiáng)編碼圖像的采集后,依據(jù)每個4×4 光譜探測單元的一個像元對應(yīng)一種隨機(jī)濾光片(共16 種),對探測器輸出的圖像像素進(jìn)行分類,得到由16 種隨機(jī)濾光片調(diào)制后的圖像I1-I16,將I1-I16輸入對應(yīng)的光譜重構(gòu)網(wǎng)絡(luò)完成整幅光譜圖像的重構(gòu),即
其中為重構(gòu)光譜,I=[I1,I2,···,I16],RECω為光譜重構(gòu)網(wǎng)絡(luò)(RECωLR或RECωHR)。
使用i7-10750H CPU 與RTX2060 GPU,通過Windows 系統(tǒng)下Pytorch 神經(jīng)網(wǎng)絡(luò)框架完成隨機(jī)透過率曲線計算與重構(gòu)網(wǎng)絡(luò)訓(xùn)練。使用ICVL(Interdisciplinary Computational Vision Laborator)[20]與CAVE。光譜圖像數(shù)據(jù)集,抽取430~470 nm共24 譜段、10 nm 分辨率的光譜圖像,為了平滑訓(xùn)練網(wǎng)絡(luò)輸出[11],將數(shù)據(jù)集沿光譜維插值至120譜段。
搭建像元映射變分辨率光譜重構(gòu)網(wǎng)絡(luò)(如圖4所示),將光譜圖像數(shù)據(jù)集輸入光譜重構(gòu)網(wǎng)絡(luò)。其中,SORI為光譜圖像中空間相鄰的2×2 陣列、430 ~670 nm 光譜范圍、120 譜段的光譜數(shù)據(jù);SLR為SORI的3 倍下采樣,即SLR為2×2 陣列、430~670 nm光譜范圍、40 譜段的光譜數(shù)據(jù);SHR由SORI的空間像元疊加得到,為1×1 陣列、430~670 nm 光譜范圍、120 譜段的光譜數(shù)據(jù)。選取權(quán)重因子比例為α1:α2=1:4,以平衡各個分辨率重構(gòu)網(wǎng)絡(luò)的訓(xùn)練。訓(xùn)練500 輪后,訓(xùn)練與驗證損失值下降至4×10-5,如圖7(彩圖見期刊電子版)所示。
圖7 訓(xùn)練與驗證損失曲線Fig. 7 Training and verification loss curve
重構(gòu)網(wǎng)絡(luò)輸出LR為2×2 陣列、430~670 nm光譜范圍、40 譜段的光譜數(shù)據(jù);HR為1×1 陣列430~670 nm 光譜范圍、120 譜段的光譜數(shù)據(jù)。
此外,通過對隨機(jī)濾光片進(jìn)行能量約束,設(shè)置C1=0.5,C2=0.7,訓(xùn)練得到的16 片隨機(jī)濾光片光譜透過率曲線T如圖8 所示。
圖8 隨機(jī)濾光片透過率曲線Fig. 8 Transmission curves of random filter
其中,每一種隨機(jī)濾光片的平均透過率均在0.5~0.7 之間。
樣本外驗證結(jié)果如圖9(彩圖見期刊電子版)所示,圖9(a)、9(b)、9(c)為CAVE 樣本外驗證,光譜圖像規(guī)格為512×512/120 譜(插值),圖9(d)、9(e)為ICVL 樣本外驗證,光譜圖像規(guī)格為482×482/120 譜(插值)。為了方便觀察重構(gòu)結(jié)果,從每幅光譜圖像中選取兩點,分別由紅框(實線)和綠框(虛線)標(biāo)出,GT2×2/GT4×4 為真實的光譜曲線,REC2×2/REC4×4 為重構(gòu)的光譜曲線。
圖9 樣本外預(yù)測結(jié)果Fig. 9 Out-sample forecasting results
經(jīng)計算,其中2×2 陣列光譜重構(gòu)PSNR 達(dá)46 dB、重構(gòu)用時小于709 ms,4×4 陣列光譜重構(gòu)PSNR達(dá)56 dB、重構(gòu)用時小于457 ms。
圖10(彩圖見期刊電子版)為KSC(Kennedy Space Center)遙感高光譜圖像驗證結(jié)果。圖10(a)是KSC 的RGB 遙感圖像;圖10(b)是2×2 陣列重構(gòu)MSE;圖10(c) 是4×4 陣列重構(gòu)MSE??梢缘贸觯?×2 陣列重構(gòu)MSE 小于0.002、每譜段平均重構(gòu)MSE 小于1.2×10-5、PSNR 達(dá)53 dB、用時869 ms,4×4 陣列重構(gòu)MSE 小于10-5、每譜段平均重構(gòu)MSE 小于1.5×10-6、PSNR 達(dá)64 dB、用時521 ms。
圖10 遙感高光譜圖像驗證結(jié)果Fig.10 Remote sensing hyperspectral image verification results
本文論述了隨機(jī)濾光片光譜編解碼原理,介紹了壓縮感知與深度學(xué)習(xí)重構(gòu)算法的基本原理,闡述了隨機(jī)濾光片與重構(gòu)算法協(xié)同優(yōu)化思想,并受欠完備自編碼器的自動特征提取機(jī)制的啟發(fā)的基于協(xié)同優(yōu)化方法的像元映射變分辨率光譜成像重構(gòu)算法。通過CAVE 與ICVL 數(shù)據(jù)集驗證,2×2 陣列光譜重構(gòu)PSNR 達(dá)46 dB、重構(gòu)用時小于702 ms,4×4 陣列光譜重構(gòu)PSNR 達(dá)56 dB、重構(gòu)用時小于430 ms。遙感高光譜圖像2×2 陣列重構(gòu)MSE 小于0.002、PSNR 達(dá)53 dB,4×4 陣列重構(gòu)MSE 小于1.2×10-5、PSNR 達(dá)64 dB,具備精度高、重構(gòu)速度快等特點。