圖-譜結(jié)合的壓縮感知高光譜視頻圖像復(fù)原

譚翠媚，許廷發(fā)，馬 旭，張宇寒，王 茜，閆 歌

(北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 海淀 100081)

1 引 言

隨著高光譜圖像光譜分辨率與空間分辨率的不斷提高，高光譜成像技術(shù)不斷發(fā)展，高光譜靜態(tài)成像已經(jīng)不能滿足研究需求，如何獲得包括光譜維λ、空間維x、y、時(shí)間維t在內(nèi)的四維高光譜視頻圖像成為該領(lǐng)域的研究熱點(diǎn)[1]。目前相關(guān)技術(shù)已在物體識(shí)別、物體跟蹤等領(lǐng)域[2-3]得到應(yīng)用。現(xiàn)有針對(duì)高光譜視頻采集的研究諸多，包括基于編碼孔徑的高光譜視頻采集[4-5]、基于混合相機(jī)的高光譜視頻采集[6]等。本文主要針對(duì)基于液晶可調(diào)濾波片(Liquid Crystal Tunable Filter,LCTF)高光譜成像系統(tǒng)的高光譜視頻復(fù)原問(wèn)題，研究如何從存在運(yùn)動(dòng)的高光譜圖像中恢復(fù)出完整的高光譜視頻圖像。

文獻(xiàn)[7]中利用基于LCTF的高光譜成像系統(tǒng)驗(yàn)證假設(shè)高光譜視頻各幀中已知若干不同波段的圖像進(jìn)行高光譜視頻圖像復(fù)原的效果。然而在實(shí)際情況中基于LCTF的高光譜成像系統(tǒng)對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行采集，任一時(shí)刻只能獲取一個(gè)波段的圖像。而且文獻(xiàn)[7]中利用光流法進(jìn)行高光譜視頻圖像初步復(fù)原，由于采集到的動(dòng)態(tài)場(chǎng)景圖像不符合光流法要求相鄰幀之間亮度保持不變的假設(shè)，因此針對(duì)實(shí)際情況的高光譜視頻圖像復(fù)原的效果不佳。

為了提升基于LCTF的高光譜成像系統(tǒng)的高光譜視頻圖像復(fù)原質(zhì)量，本文提出一種基于空間維、光譜維相關(guān)性的壓縮感知高光譜視頻圖像復(fù)原算法。該方法在實(shí)現(xiàn)高光譜視頻圖像復(fù)原的同時(shí)，使前景目標(biāo)高光譜圖像與背景高光譜圖像彼此分離。仿真實(shí)驗(yàn)結(jié)果顯示：其在峰值信噪比和視覺(jué)效果上均優(yōu)于現(xiàn)有算法，驗(yàn)證了本文所提算法的有效性。

2 運(yùn)動(dòng)檢測(cè)

2.1 基于液晶可調(diào)濾波片的高光譜視頻成像

圖1為高光譜視頻的示意圖，高光譜視頻中的每一幀均為一幅高光譜圖像。因此，高光譜視頻圖像為包括光譜維λ、空間維x、y、時(shí)間維t在內(nèi)的四維數(shù)據(jù)結(jié)構(gòu)體。對(duì)前景目標(biāo)運(yùn)動(dòng)的動(dòng)態(tài)場(chǎng)景進(jìn)行成像記錄，獲得的高光譜視頻圖像可認(rèn)為是運(yùn)動(dòng)前景目標(biāo)高光譜圖像與背景高光譜圖像的組合，不同時(shí)刻前景目標(biāo)的高光譜圖像處于背景高光譜圖像的不同位置。由于LCTF每一時(shí)刻只能選擇一個(gè)可透過(guò)波長(zhǎng)，因此對(duì)于動(dòng)態(tài)場(chǎng)景的成像記錄，基于LCTF的高光譜成像系統(tǒng)采集到的圖像為存在運(yùn)動(dòng)的高光譜圖像，不同時(shí)刻采集的不同波段的圖像由于存在運(yùn)動(dòng)造成彼此場(chǎng)景內(nèi)容有所不同。具體示意圖如圖2所示，本文主要研究如何從存在運(yùn)動(dòng)的高光譜圖像中恢復(fù)出完整的高光譜視頻圖像。

圖1 高光譜視頻的示意圖 Fig.1 An illustration of hyperspectral video

圖2 基于液晶可調(diào)濾波片高光譜成像系統(tǒng)采集的圖像示意圖 Fig.2 An illustration of images captured by hyperspectral imaging system based on liquid crystal tunable filter

高光譜視頻圖像復(fù)原的原理流程圖如圖3所示。首先，通過(guò)前景目標(biāo)檢測(cè)獲得運(yùn)動(dòng)前景目標(biāo)的高光譜圖像。同時(shí)，根據(jù)前景目標(biāo)所在位置，將背景區(qū)域劃分為運(yùn)動(dòng)區(qū)域(被前景目標(biāo)遮擋的區(qū)域)和靜止區(qū)域(未被前景目標(biāo)遮擋的區(qū)域)，算法的重點(diǎn)在于運(yùn)動(dòng)區(qū)域的恢復(fù)。

圖3 高光譜視頻復(fù)原流程圖 Fig.3 Flowchart of hyperspectral video restoration

由于高光譜圖像具有空間相關(guān)性與光譜相關(guān)性，利用二者提供的稀疏先驗(yàn)信息進(jìn)行運(yùn)動(dòng)區(qū)域的恢復(fù)。對(duì)靜止區(qū)域進(jìn)行分塊字典學(xué)習(xí)，獲取圖像恢復(fù)所需的稀疏先驗(yàn)信息。由于運(yùn)動(dòng)導(dǎo)致前景目標(biāo)的位置變化相當(dāng)于對(duì)背景區(qū)域的部分采樣，利用靜止區(qū)域分塊學(xué)習(xí)字典提供的稀疏先驗(yàn)信息，通過(guò)分塊壓縮感知重構(gòu)可以實(shí)現(xiàn)運(yùn)動(dòng)區(qū)域的高光譜圖像的復(fù)原，獲得完整的背景區(qū)域高光譜圖像。通過(guò)前景目標(biāo)高光譜圖像與背景區(qū)域高光譜圖像的組合，即可得到完整的高光譜視頻圖像，實(shí)現(xiàn)基于LCTF高光譜成像系統(tǒng)的高光譜視頻圖像復(fù)原。

2.2 前景目標(biāo)檢測(cè)

由于基于LCTF的高光譜成像系統(tǒng)采集的圖像幀數(shù)較少，且每幀圖像所在波段不同使得前后兩幀間相同位置處的像素灰度值有所變化，根據(jù)這一特點(diǎn)本文采用視覺(jué)背景提取算法(Visual Background extractor,ViBe)進(jìn)行前景目標(biāo)檢測(cè)。

對(duì)于某像素p，背景像素樣本值空間定義為：

M(p)={v1,v2,…,vN} , (1)

式中，vi表示像素p的背景像素樣本值空間中的第i個(gè)樣本值，N表示像素p的背景像素樣本值空間中包含的樣本個(gè)數(shù)。

隨機(jī)從像素p及其八鄰域的像素中選取N個(gè)像素值進(jìn)行背景像素樣本值空間初始化，每個(gè)像素值被選擇的概率相同，初始化模型如式(2)所示：

M0(p)={v0[q|q∈NG(p)]} ， (2)

式中，q表示像素p鄰域中隨機(jī)選取的一個(gè)像素，NG(p)表示像素p鄰域內(nèi)的像素集合。

假設(shè)當(dāng)前幀圖像中某像素p的像素值為v(p)，SR(v(p))為以v(p)為中心，R為半徑的區(qū)域，區(qū)域SR(v(p))中所含像素p的背景像素樣本值個(gè)數(shù)為num={SR(v(p))∩{v1,v1,…,vN}}，通過(guò)比較num與給定的閾值min，若所含的樣本數(shù)num大于或等于閾值min，則像素p為背景像素，否則為前景像素[8-10]。

利用Vibe算法對(duì)存在運(yùn)動(dòng)的高光譜圖像逐幀處理，得到運(yùn)動(dòng)前景目標(biāo)的高光譜圖像。同時(shí)，根據(jù)前景目標(biāo)所在位置，將背景區(qū)域劃分為運(yùn)動(dòng)區(qū)域(被前景目標(biāo)遮擋的背景區(qū)域)和靜止區(qū)域(未被前景目標(biāo)遮擋的背景區(qū)域)。只要恢復(fù)運(yùn)動(dòng)區(qū)域，得到完整的背景區(qū)域高光譜圖像，結(jié)合前景目標(biāo)的高光譜圖像，即可獲得高光譜視頻圖像。

3 圖-譜結(jié)合的壓縮感知高光譜視頻圖像復(fù)原

3.1 壓縮感知理論

本文利用高光譜圖像的空間相關(guān)性與光譜相關(guān)性，通過(guò)壓縮感知進(jìn)行運(yùn)動(dòng)區(qū)域恢復(fù)。壓縮感知(Compressive Sensing)理論充分利用了大部分信號(hào)具有的稀疏特性，通過(guò)隨機(jī)投影實(shí)現(xiàn)對(duì)壓縮數(shù)據(jù)的直接采集[11-12]，廣泛應(yīng)用于高光譜圖像處理領(lǐng)域[13-16]。傳統(tǒng)壓縮感知算法將整幅圖像轉(zhuǎn)換成一維信號(hào)，導(dǎo)致重構(gòu)過(guò)程計(jì)算量龐大，恢復(fù)速度緩慢。對(duì)此Gan提出分塊壓縮感知[17]，將原有圖像分成若干圖像塊，對(duì)每個(gè)圖像塊獨(dú)立進(jìn)行測(cè)量，以降低觀測(cè)矩陣和重構(gòu)算法的計(jì)算量。根據(jù)壓縮感知理論，

y=Φx=ΦΨθ， (3)

式中，x∈RN表示原始值，y∈RM表示觀測(cè)值，Φ∈RM×N表示觀測(cè)矩陣，且M

(4)

式中，ω為平衡稀疏度與近似誤差的參數(shù)。

(5)

3.2 靜止區(qū)域的字典學(xué)習(xí)

高光譜圖像空間相關(guān)性與光譜相關(guān)性提供的稀疏先驗(yàn)信息由靜止區(qū)域?qū)W習(xí)的字典進(jìn)行表征。由于高度冗余的過(guò)完備字典進(jìn)行稀疏分解時(shí)具有潛在的不穩(wěn)定性容易出現(xiàn)視覺(jué)偽影，本文采用主成分分析(Principal Component Analysis,PCA)進(jìn)行PCA字典學(xué)習(xí)[18-19]，將靜止區(qū)域分塊訓(xùn)練得到的PCA字典作為運(yùn)動(dòng)區(qū)域壓縮感知重構(gòu)的稀疏基Ψ。

將靜止區(qū)域分為n個(gè)大小為B×B×λ的不重疊圖像塊，λ為波段總數(shù)，第i個(gè)圖像塊的列向量表示為ci∈RB2·λ×1,i=1,2,…,n。字典訓(xùn)練的目標(biāo)函數(shù)用公式表示為

(6)

式中，C=[c1,c2,…,cn]表示用于訓(xùn)練字典的圖像塊列向量的集合，Λ是C相對(duì)字典Ψ的表示系數(shù)矩陣。計(jì)算圖像塊列向量集合C的協(xié)方差矩陣Ω，由PCA獲得正交變換矩陣T。根據(jù)PCA理論可得

(7)

3.3 壓縮感知高光譜視頻圖像復(fù)原

圖-譜結(jié)合的壓縮感知高光譜視頻圖像復(fù)原的具體實(shí)施過(guò)程如下：

(1)將運(yùn)動(dòng)區(qū)域分為m個(gè)大小為B×B×λ的不重疊圖像塊，第i個(gè)圖像塊的列向量di∈RB2·λ×1。

(2)構(gòu)造每個(gè)圖像塊的觀測(cè)值列向量y：對(duì)于第i個(gè)圖像塊，根據(jù)運(yùn)動(dòng)前景目標(biāo)檢測(cè)結(jié)果，觀測(cè)值列向量yi由列向量di中剔除檢測(cè)出前景目標(biāo)位置所在的像素值后余下的像素值構(gòu)成，被剔除的像素值表示被前景目標(biāo)遮擋的區(qū)域。設(shè)第i個(gè)圖像塊中未檢測(cè)出前景目標(biāo)位置所在的像素個(gè)數(shù)為K，則觀測(cè)值列向量yi∈RK×1。

(3)構(gòu)造每個(gè)圖像塊的觀測(cè)矩陣Φ：對(duì)于第i個(gè)圖像塊，Φi初始值是大小為B2λ×B2λ、對(duì)角為1的對(duì)角矩陣，對(duì)角線元素與列向量di的像素值一一對(duì)應(yīng)。根據(jù)運(yùn)動(dòng)前景目標(biāo)檢測(cè)結(jié)果，將檢測(cè)出前景目標(biāo)的像素位置對(duì)應(yīng)的對(duì)角線元素置0，表示被前景目標(biāo)遮擋；未檢測(cè)出前景目標(biāo)的像素位置對(duì)應(yīng)的對(duì)角線元素維持1不變，表示未被前景目標(biāo)遮擋。刪除Φi中的全零行，得到觀測(cè)矩陣Φi∈RK×B2·λ。

(4)將觀測(cè)值列向量y、觀測(cè)矩陣Φ、PCA字典Ψ代入式(4)、(5)，采用文獻(xiàn)[20]的壓縮感知算法分別恢復(fù)運(yùn)動(dòng)區(qū)域的每個(gè)圖像塊。

(5)由靜止區(qū)域與恢復(fù)的運(yùn)動(dòng)區(qū)域得到完整的背景區(qū)域的高光譜圖像。前景目標(biāo)的高光譜圖像與背景區(qū)域高光譜圖像結(jié)合，即可得到高光譜視頻圖像，實(shí)現(xiàn)壓縮感知高光譜視頻圖像復(fù)原。

4 實(shí)驗(yàn)結(jié)果與分析

本文采用文獻(xiàn)[7]提供的高光譜視頻圖像資源，選取其中10幀高光譜視頻圖像作為原始高光譜視頻圖像。每幀高光譜視頻圖像波段覆蓋范圍為610～700 nm、間隔為10 nm共10個(gè)波段的高光譜圖像，空間分辨率為752×480。利用基于LCTF的高光譜采集系統(tǒng)對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行成像記錄時(shí)，采集到的存在運(yùn)動(dòng)的高光譜圖像對(duì)應(yīng)高光譜視頻圖像分別為：第1幀在610 nm處的圖像、第2幀在620 nm處的圖像、第3幀在630 nm處的圖像、……、第10幀在700 nm處的圖像共10個(gè)波段圖像。本文的算法主要研究如何從存在運(yùn)動(dòng)的高光譜圖像中恢復(fù)出完整的高光譜視頻圖像。為了降低算法復(fù)雜度，動(dòng)態(tài)場(chǎng)景中只存在一個(gè)運(yùn)動(dòng)前景目標(biāo)。所有仿真實(shí)驗(yàn)均在相同的計(jì)算平臺(tái)(Intel i5-4590 CPU 3.30 GHz/8.00 GB內(nèi)存)下完成。

4.1 前景目標(biāo)檢測(cè)結(jié)果

本文算法采用ViBe算法對(duì)存在運(yùn)動(dòng)的高光譜圖像進(jìn)行前景目標(biāo)檢測(cè)。利用610 nm波段的圖像完成背景像素樣本值空間的初始化。由于610 nm波段的圖像內(nèi)存在運(yùn)動(dòng)前景目標(biāo)，建立的背景初始化模型中包含運(yùn)動(dòng)前景目標(biāo)信息，因此利用ViBe算法處理610 nm波段與620 nm波段的圖像時(shí)，每幅圖像中檢測(cè)出兩個(gè)前景目標(biāo)區(qū)域，分別為運(yùn)動(dòng)前景目標(biāo)在610 nm波段與620 nm波段的圖像所處的位置。為確定每幅圖像中運(yùn)動(dòng)前景目標(biāo)的真實(shí)位置，本文利用運(yùn)動(dòng)估計(jì)中常用的匹配準(zhǔn)則：絕對(duì)差值和(Sum of Absolute Differences,SAD)進(jìn)行判斷，SAD為原始圖像塊中的每個(gè)像素與用于比較圖像塊中相應(yīng)像素的絕對(duì)差之和。分別計(jì)算610 nm波段圖像兩個(gè)前景目標(biāo)區(qū)域與620 nm波段圖像兩個(gè)前景目標(biāo)區(qū)域的SAD，SAD最小值對(duì)應(yīng)的兩個(gè)前景目標(biāo)區(qū)域即為運(yùn)動(dòng)前景目標(biāo)的真實(shí)位置。前景目標(biāo)檢測(cè)結(jié)果如圖4所示，圖4中(a)～(j)分別為在610～700 nm波段、間隔為10 nm所采集的運(yùn)動(dòng)前景目標(biāo)的高光譜圖像。

圖4 前景目標(biāo)檢測(cè)結(jié)果 Fig.4 Results of foreground object detection

圖5 背景區(qū)域的高光譜圖像 Fig.5 Hyperspectral images of the background area

根據(jù)前景目標(biāo)所在位置，將背景區(qū)域劃分為運(yùn)動(dòng)區(qū)域(被前景目標(biāo)遮擋的背景區(qū)域)和靜止區(qū)域(未被前景目標(biāo)遮擋的背景區(qū)域)。只要恢復(fù)運(yùn)動(dòng)區(qū)域，得到完整的背景區(qū)域高光譜圖像，結(jié)合前景目標(biāo)的高光譜圖像，即可獲得高光譜視頻圖像。

4.2 靜止區(qū)域的字典學(xué)習(xí)

將靜止區(qū)域分為若干大小為B×B×λ的不重疊圖像塊，其中B=8，λ=10。利用所得圖像塊進(jìn)行PCA字典學(xué)習(xí)，根據(jù)式(6)、(7)得到維度、原子個(gè)數(shù)均為640的PCA字典，用于后續(xù)的運(yùn)動(dòng)區(qū)域恢復(fù)。

4.3 壓縮感知高光譜視頻圖像復(fù)原

將運(yùn)動(dòng)區(qū)域分為若干大小為B×B×λ不重疊圖像塊，其中B=8，λ=10。根據(jù)運(yùn)動(dòng)前景目標(biāo)檢測(cè)結(jié)果構(gòu)造每個(gè)圖像塊對(duì)應(yīng)的觀測(cè)值與觀測(cè)矩陣，結(jié)合靜止區(qū)域?qū)W習(xí)的PCA字典，采用文獻(xiàn)[7]的壓縮感知算法進(jìn)行運(yùn)動(dòng)區(qū)域的圖像塊恢復(fù)。由靜止區(qū)域與恢復(fù)的運(yùn)動(dòng)區(qū)域得到完整背景區(qū)域的高光譜圖像。圖5中(a)～(j)分別為610～700 nm波段、間隔為10 nm，所采集的完整背景區(qū)域的高光譜圖像。

前景目標(biāo)的高光譜圖像與背景區(qū)域高光譜圖像結(jié)合，即可得到高光譜視頻圖像，實(shí)現(xiàn)壓縮感知高光譜視頻圖像復(fù)原。圖6所示為高光譜視頻圖像的部分圖像復(fù)原結(jié)果。本文使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)來(lái)衡量圖像復(fù)原的效果。PSNR定義如下：

圖6 高光譜視頻的部分復(fù)原結(jié)果對(duì)比圖 Fig.6 Comparison of some results of hyperspectral video restoration

(8)

式中，u、v表示高光譜圖像空間維的兩個(gè)維度；n表示高光譜圖像的光譜維維度；MAXI表示圖像像素能取的最大值，若每個(gè)像素用8位表示，MAXI=255。本文實(shí)驗(yàn)中u=752，v=480，n=10，MAXI=255。復(fù)原高光譜視頻中的一幀高光譜圖像表示為Hr∈Ru×v×n，原始高光譜視頻中的一幀高光譜圖像表示為Hg∈Ru×v×n。本文方法與文獻(xiàn)[7]中的方法結(jié)果如表1所示。

表1 本文算法與文獻(xiàn)[7]中方法的PSNR值對(duì)比

綜合圖6本文方法與文獻(xiàn)[7]方法進(jìn)行高光譜視頻圖像復(fù)原的視覺(jué)效果對(duì)比圖與表1中兩種方法的PSNR結(jié)果可知，本文方法的效果優(yōu)于現(xiàn)有方法。

文獻(xiàn)[7]方法復(fù)原圖像中運(yùn)動(dòng)目標(biāo)及其周圍場(chǎng)景存在偽影及扭曲現(xiàn)象，而本文方法相應(yīng)區(qū)域復(fù)原效果較好。主要原因是本文方法是針對(duì)基于LCTF的高光譜成像系統(tǒng)在動(dòng)態(tài)場(chǎng)景中的實(shí)際成像情況，研究如何從存在運(yùn)動(dòng)的高光譜圖像中進(jìn)行高光譜視頻圖像恢復(fù)；而文獻(xiàn)[7]的方法主要是利用基于LCTF的高光譜成像系統(tǒng)驗(yàn)證假設(shè)高光譜視頻各幀中已知若干不同波段的圖像進(jìn)行高光譜視頻圖像復(fù)原的效果。在實(shí)際情況中基于LCTF的高光譜成像系統(tǒng)對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行采集，任一時(shí)刻只能獲取一個(gè)波段的圖像。此外，文獻(xiàn)[7]中利用光流法進(jìn)行高光譜視頻圖像初步復(fù)原，由于采集到的存在運(yùn)動(dòng)的高光譜圖像不符合光流法要求相鄰幀之間亮度保持不變的假設(shè)，因此實(shí)際情況中基于LCTF的高光譜成像系統(tǒng)的高光譜視頻圖像的復(fù)原效果不佳。本文方法根據(jù)LCTF高光譜成像系統(tǒng)每次只能采集一個(gè)波段圖像的成像特點(diǎn)，基于高光譜圖像空間維與光譜維相關(guān)性進(jìn)行高光譜視頻圖像復(fù)原，有效提升高光譜視頻圖像復(fù)原質(zhì)量。

5 結(jié) 論

針對(duì)LCTF高光譜成像系統(tǒng)對(duì)動(dòng)態(tài)場(chǎng)景的成像特點(diǎn)，本文提出一種新的高光譜視頻圖像復(fù)原方法。首先，通過(guò)前景目標(biāo)檢測(cè)獲得運(yùn)動(dòng)前景目標(biāo)的高光譜圖像，實(shí)現(xiàn)運(yùn)動(dòng)前景目標(biāo)與背景區(qū)域分離。然后，基于高光譜圖像空間維、光譜維相關(guān)性通過(guò)壓縮感知理論與字典學(xué)習(xí)理論恢復(fù)被運(yùn)動(dòng)前景目標(biāo)遮擋的背景區(qū)域，得到完整的背景區(qū)域的高光譜圖像。最后，通過(guò)前景目標(biāo)高光譜圖像與背景區(qū)域高光譜圖像的組合，得到高光譜視頻圖像，實(shí)現(xiàn)基于LCTF高光譜成像系統(tǒng)的高光譜視頻圖像復(fù)原。實(shí)驗(yàn)結(jié)果表明，本文提出的高光譜視頻圖像復(fù)原算法在主觀視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)上都優(yōu)于現(xiàn)有方法，峰值信噪比平均提高5 dB以上，有效提升高光譜視頻圖像復(fù)原質(zhì)量。