深度學(xué)習(xí)下模糊高光譜圖像復(fù)原數(shù)學(xué)模型仿真

蘇樂輝

(泉州信息工程學(xué)院,福建 泉州 362000)

1 引言

在高光譜圖像拍攝過程中,由于拍攝設(shè)備運動,導(dǎo)致載荷平臺的振動,從而采集到的高光譜圖像較為模糊。圖像的空間、光譜的分辨率決定圖像質(zhì)量?？臻g分辨率能夠展現(xiàn)出圖像空間數(shù)據(jù)的詳細(xì)程度;光譜分辨率則表現(xiàn)出其對光譜細(xì)節(jié)的區(qū)分能力,提升圖像分辨率是解決模糊圖像最有效的方法,但在提升圖像空間、光譜的分辨率卻是當(dāng)前面臨最大難題[1-2]?，F(xiàn)階段,提升光譜分辨率只能通過降低空間分辨率方式,解決此問題,需要革新成像設(shè)備,周期長,且成本昂貴。因此,可通過圖像復(fù)原技術(shù),借助信號預(yù)處理方式提升高光譜圖像的空間、光譜的分辨率,成為解決此問題的唯一有效方法[3]。

諸多學(xué)者對模糊高光譜圖像復(fù)原算法進(jìn)行深入研究。張華衛(wèi)等人[4]通過Canny算子提取模糊高光譜圖像的紋理特征,采用二次約束模型建立圖像復(fù)原數(shù)學(xué)模型,進(jìn)而將模糊圖像復(fù)原;譚晏松等人[5]首先調(diào)整模糊圖像飽和度,利用粒子群優(yōu)化方法平衡圖像色彩,完成模糊高光譜圖像的復(fù)原;趙晉陵等人[6]采用主成分分析算法將高光譜數(shù)據(jù)降維處理,通過聯(lián)合局部二值模式提取圖像特征,利用最近鄰分類器識別出圖像上噪聲并過濾掉,從而清晰的高光譜圖像。二次約束、PSO復(fù)原方法能夠有效保證復(fù)原圖像質(zhì)量,但復(fù)原運算較為復(fù)雜,用時較長;K-最近鄰算法圖像復(fù)原速度較快,但復(fù)原結(jié)果不理想。

為解決上述方法存在的問題,研究一種基于深度學(xué)習(xí)的模糊高光譜圖像復(fù)原數(shù)學(xué)模型方法。深度學(xué)習(xí)能夠利用卷積神經(jīng)網(wǎng)絡(luò)的逐級卷積操作方式,提取出高光譜圖像的空間維特征、光譜維特征,有效保證復(fù)原圖像質(zhì)量。實驗結(jié)果表明,所提方法能夠?qū)崿F(xiàn)對模糊圖像的復(fù)原,且圖像復(fù)原時間短。

2 模糊高光譜圖像復(fù)原數(shù)學(xué)模型構(gòu)建

2.1 高光譜成像過程分析

高光譜成像起點即為遙感數(shù)據(jù)源,其能量主要來源于太陽,太陽放出的電磁波在真空介質(zhì)下,傳播到地球表面的大氣層附近,一部分電磁波被大氣層表面反射到太空,剩余部分入射至大氣層中,通過其內(nèi)部氣體的相互作用,傳播到地物表面[7-8]。目標(biāo)物體接收到的能量在反射作用下,物體攜帶光譜信息,由信號接收裝置接收,經(jīng)過處理后得到高光譜圖像,詳細(xì)過程如圖1(a)所示。

圖1 高光譜成像與鏈路模型

根據(jù)高光譜成像原理可知,其能量相互作用過程可看成1個系統(tǒng),也就是成像鏈路,如圖1(b)所示。此鏈路主要由信息源、大氣、目標(biāo)物體及其傳感裝置的模型組成[9],采用式(1)表述高光譜成像c,即:

c=?l(x,y,λ)τ(x,y,λ)r(x,y,λ)b(x,y,λ)dxdydλ

(1)

式中,λ描述光譜維度;x與y即為空間維、光譜維的變量;l(x,y,λ)描述信息源模型;τ(x,y,λ)描述大氣模型;r(x,y,λ)與b(x,y,λ)分別描述目標(biāo)物體模型及其傳感裝置的模型。

2.2 圖像退化模型

高光譜成像過程中,由于高光譜拍攝平臺以振動方式進(jìn)行姿態(tài)運動,這會使圖像質(zhì)量退化,從而采集到高光譜圖像較為模糊[10]。針對此問題,通過分析拍攝平臺每一個姿態(tài)的偏移與振動導(dǎo)致圖像模糊成因,即像元運動偏移量,結(jié)合高光譜成像原理,分析出物體光譜與拍攝姿態(tài)二者間的聯(lián)系及其退化數(shù)學(xué)模型。

高光譜圖像數(shù)據(jù)可看成1個三維立方體,各波段都有各自的空間圖像。假設(shè)用e(x,y,λ)描述振動后的光譜數(shù)據(jù),即模糊圖像的光譜數(shù)據(jù),其表達(dá)式為。

e(x,y,λ)=f(x,y,λ)h(x,y,λ)c+s(x,y,λ)

(2)

式中,f(x,y,λ)代表實際高光譜圖像信息;h(x,y,λ)描述圖像點擴散函數(shù);s(x,y,λ)代表高光譜圖像噪聲。

在理想狀態(tài)下(無噪聲),f(x,y,λ)通過一個平面運動,x1(t)描述x方向上移動量,y1(t)描述y方向上移動量,t描述運動所用時間,則模糊后的數(shù)據(jù)求解過程為:

(3)

根據(jù)式(3)可知,模糊高光譜信息立方體的λ是固定不變的,也就是h(x,y,λ)與λ無關(guān),將式(3)中λ根據(jù)光譜分辨率Δλ離散處理,得出:

(4)

式中,n描述的波段數(shù)量;fi(x,y)描述第i個波段的空間圖像。

假設(shè)Fi(u,v)、E(u,v,ω)為fi(x,y)、e(x,y,λ)的傅里葉變換結(jié)果,則

(5)

式中,ω描述姿態(tài)角度;u、v即為x方向和y方向頻域變化量。將式(5)整理,可得:

(6)

式中,H(u,v)即h(x,y)的傅里葉變換的結(jié)果,則有:

(7)

通過式(2)-式(7)分析出模糊高光譜圖像的退化原理,進(jìn)而找到模糊圖像與實際圖像之間關(guān)系,為后面模糊圖像復(fù)原數(shù)學(xué)模型提供理論基礎(chǔ)。

2.3 模糊圖像復(fù)原數(shù)學(xué)模型

2.3.1 基于3D卷積網(wǎng)絡(luò)的高光譜圖像復(fù)原技術(shù)

模糊高光譜圖像復(fù)原通常利用深度學(xué)習(xí)下卷積神經(jīng)網(wǎng)絡(luò)完成模糊圖像復(fù)原,其將圖像中各幀都看成一個單獨且靜止的二維圖像處理,通過卷積神經(jīng)網(wǎng)絡(luò)檢測每一幀目標(biāo)的動作。但此方法忽略連續(xù)幀之間的目標(biāo)運動信息,影響模糊圖像復(fù)原效果。由此,采用3D卷積方法完成模糊圖像復(fù)原,該方法能夠?qū)D像之間的運動信息融合到圖像分析中,并通過相鄰幀之間產(chǎn)生的許多信息通信,在各通道進(jìn)行卷積與下采樣,進(jìn)而得到沿圖像空間維與光譜維的特征,再將所有特征重組,最終得到現(xiàn)實的高光譜圖像,完成模糊圖像復(fù)原,詳細(xì)過程如圖圖2(a)所示[11]。

圖2 深度學(xué)習(xí)下模糊高光譜圖像復(fù)原

從圖2(a)可知,3D卷積網(wǎng)絡(luò)主要由1層3D淺層特征提取層、2層3D卷積層與2層激活函數(shù)、1層三維反卷積層、3D重建層構(gòu)成。其中,3D淺層特征提取層負(fù)責(zé)采集高光譜圖像的淺層特征;3D卷積層由2個三維數(shù)據(jù)立體組成,任意卷積層都需要借助激活函數(shù)得到特征增加非線性因子;3D反卷積層負(fù)責(zé)將LR空間變換至HR空間,得到HR空間的特征圖譜,從而實現(xiàn)高光譜圖像采樣;3D圖像重建層即輸出層,用于重組特征圖譜,生成HR圖像,進(jìn)而得到清晰的高光譜圖像[12]。

2.3.2 復(fù)原實現(xiàn)

在二維卷積中,卷積核的深度和輸入圖像的通道數(shù)量相等,進(jìn)行卷積操作過程中,卷積核只能沿兩個方法進(jìn)行滑動,即圖像高、寬方向,滑動遍歷結(jié)束后獲得通道數(shù)是1的二維圖像。而在三維卷積中,卷積核深度始終小于輸入圖像通道數(shù)量[13],如圖2(b)所示。

從圖2(b)看出,3D卷積核以三維立方體方式展現(xiàn)出來,進(jìn)行卷積操作時,不僅能從圖像寬、高滑動遍歷,還可以從光譜維上滑動遍歷,遍歷到位置經(jīng)過卷積運算可得到特定值[14]。由于3D卷積核在三維空間內(nèi)滑動,獲得的結(jié)果依舊是三維圖像。

卷積詳細(xì)過程為:選取大小為2×2×2的卷積核,在模糊高光譜圖像像元矩陣上按照設(shè)定的步長滑動,將感受野范圍內(nèi)采用加權(quán)求解與卷積計算,借助非線性因子得到輸出的特征映射[15]。

在深度學(xué)習(xí)下,設(shè)定3D卷積層共k層,任意一層都會產(chǎn)生k1個特征圖,則卷積模糊高光譜圖像復(fù)原數(shù)學(xué)模型為:

(8)

通過式(8)提取出高光譜空間維與光譜維特征,然后將其輸入三維反卷積層放大處理,最后經(jīng)3D重建層重建,得到清晰高光譜圖像,進(jìn)而實現(xiàn)了模糊高光譜圖像復(fù)原。

3 仿真過程與結(jié)果分析

3.1 可視化效果分析

實驗隨機選取1張模糊高光譜圖像,其空間尺寸為590×350,波段數(shù)量為240個,波長范圍410nm-1200nm,采用二次約束、K-最近鄰與PSO方法與所提方法復(fù)原處理,不同方法的圖像復(fù)原效果分析如圖3所示。

圖3 不同方法的圖像復(fù)原效果分析

從圖3能夠明顯看出,所提方法模糊高光譜圖像復(fù)原效果最佳,而二次約束、K-最近鄰與PSO方法的模糊高光譜圖像復(fù)原效果較差,存在不同程度的細(xì)節(jié)模糊。通過對比可知,所提方法的復(fù)原效果最佳,因其能根據(jù)高光譜成像原理及其退化原因得出模糊圖像與實際圖像之間相關(guān)性,通過深度學(xué)習(xí)提取圖像各維度特征并重組,從而得到復(fù)原圖像較為理想,對比方法只能提取圖像部分特征,圖像復(fù)原效果較差。

3.2 量化指標(biāo)對比分析

3.2.1 空間維度分析

空間維度最常用評價指標(biāo)為峰值信噪比(PSNR),其是指圖像信號最大功率與噪聲功率比值,設(shè)定H2×W2×L2表示模糊高光譜圖像尺度;Q表示實際高光譜圖像;Q1表示復(fù)原后的高光譜圖像,其計算過程如式(9)所示。

(9)

式中,PSNR值越大,表示圖像空間維度特征提取越多,圖像失真越少。

根據(jù)式(9)分別求解不同方法下復(fù)原圖像的峰值信噪比實驗結(jié)果如圖4所示。

圖4 復(fù)原圖像的峰值信噪比情況

圖4中,所提方法每張高光譜圖像復(fù)原的峰值信噪比在6dB以上,而二次約束、K-最近鄰與PSO方法的復(fù)原信噪比則在0～6dB,通過對比可知,所提方法的峰值信噪都大于對比方法,表明所提方法的圖像失真最少,復(fù)原效果最好,這是由于所提方法能夠在高光譜圖像空間維上進(jìn)行特征提取,并能保證特征提取數(shù)量與質(zhì)量,為此復(fù)原圖像的峰值信噪比值較高。

3.2.2 光譜維度分析

光譜相關(guān)系數(shù)是衡量光譜維特征提取質(zhì)量重要指標(biāo)之一,其取值范圍為[-1,1],值越大表明光譜相似性越大,此復(fù)原方法越好,計算過程為:

(10)

式中,a、a′代表圖像2個不同的像元。根據(jù)式(10)得出四種方法下復(fù)原圖像光譜相關(guān)系數(shù),結(jié)果如圖5所示。

圖5 各光譜相關(guān)系數(shù)對比分析

從圖5可看出,所提方法的光譜相關(guān)系數(shù)曲線極其接近理想狀態(tài)值,其值保持在0.75以上,而另外三種方法則低于所提方法,表明所提方法的復(fù)原效果最好。通過實驗證實所提方法提取圖像光譜特征較多,從而有效保證復(fù)原圖像的質(zhì)量。

3.2.3 復(fù)原時間對比

實驗設(shè)有200張模糊高光譜圖像需要復(fù)原,分別采用二次約束、K-最近鄰與PSO與所提方法對這些圖像復(fù)原處理,不同方法的模糊高光譜圖像復(fù)原耗時如圖6所示。

圖6 不同方法的模糊高光譜圖像復(fù)原耗時情況

從圖6中可知,四種復(fù)原方法的耗時曲線都隨著圖像數(shù)量增加呈上升趨勢,所提方法耗時曲線上升趨勢最小,而二次約束、K-最近鄰與PSO方法復(fù)原耗時曲線上升趨勢大致相同,且大于所提方法的上升趨勢,這是因為所提方法在圖像處理過程選用3D卷積復(fù)原算法,計算過程較為簡單,在12.1s內(nèi)就能完成200張模糊高光譜圖像復(fù)原,對比方法至少需要28.7s,證實所提方法模糊高光譜圖像復(fù)原性能良好。

4 結(jié)論

由于高光譜拍攝過程,拍攝設(shè)備運行導(dǎo)致拍攝平臺振動,得到拍攝圖像較為模糊,無法從圖像上獲得有效信息,為此,對深度學(xué)習(xí)下模糊高光譜圖像復(fù)原數(shù)學(xué)模型仿真研究。通過分析高光譜成像過程,根據(jù)傅里葉變換、圖像像元運動偏移情況建立其退化數(shù)學(xué)模型,利用3D卷積核提取模糊高光譜圖像特征,并對其重組,得到較為清晰的圖像,完成圖像復(fù)原。實驗結(jié)果表明,所提方法模糊圖像復(fù)原效果最佳,復(fù)原的峰值信噪比在6dB以上,且復(fù)原耗時低于15s。