基于調(diào)和模型的降質(zhì)圖像超分辨率復(fù)原算法

王媛芳，王 鴻，廖武忠

(1. 重慶工程學(xué)院軟件學(xué)院，重慶 400056；2. 重慶理工大學(xué)車輛工程學(xué)院，重慶 400054)

1 引言

圖像超分辨率復(fù)原是圖像處理中的關(guān)鍵部分，具備極高的理論與實(shí)際意義。在圖像的采集與輸出、變換流程中，極易造成圖像的降質(zhì)，主要表現(xiàn)為圖像不清晰、部分失真、含有噪聲等。而在圖像的使用中，如圖像采集、圖像識(shí)別、圖像數(shù)據(jù)分析等方面，均需要高質(zhì)量圖像，因此，在醫(yī)療、航天、公安、交通等諸多領(lǐng)域抑制圖像噪聲，對(duì)降質(zhì)圖像復(fù)原具有極其重要的作用。

降質(zhì)圖像超分辨率復(fù)原是將觀測(cè)圖像變成已知信息數(shù)據(jù)，恢復(fù)反映客觀物體實(shí)際場(chǎng)景的初始圖像。影響圖像質(zhì)量的因素諸多，主要分為確定性與隨機(jī)性兩種因素。其中，確定性因素即成像系統(tǒng)對(duì)焦錯(cuò)誤與自身問(wèn)題、較長(zhǎng)時(shí)間的曝光等；而隨機(jī)性因素即圖像信號(hào)在采集、輸送、轉(zhuǎn)換過(guò)程中出現(xiàn)的噪聲污染。圖像復(fù)原使用導(dǎo)致圖像降質(zhì)的先驗(yàn)知識(shí)，構(gòu)建圖像降質(zhì)數(shù)學(xué)模型，沿著圖像降質(zhì)的反饋流程進(jìn)行復(fù)原，得出超分辨率的圖像。

關(guān)于降質(zhì)圖像超分辨率復(fù)原算法研究諸多，為了解決降質(zhì)圖像分辨率低的問(wèn)題，部分學(xué)者使用生成對(duì)抗網(wǎng)絡(luò)將圖像的低分辨率部分進(jìn)行多尺度特征學(xué)習(xí)，并利用融合網(wǎng)絡(luò)進(jìn)行殘差融合，得出圖像不同尺度高分辨率數(shù)據(jù)，完成降質(zhì)圖像超分辨率復(fù)原；除此之外，葉雙等人針對(duì)降質(zhì)圖像超分辨率復(fù)原速度慢的問(wèn)題，使用K均值聚類方法把訓(xùn)練樣本聚類成不同的簇，并根據(jù)各簇聚類中心更換字典原子得出對(duì)應(yīng)的鄰域，使用這些鄰域完成低分辨率到高分辨率的空間映射，進(jìn)而得出高分辨率圖像。

吸取以上文獻(xiàn)優(yōu)點(diǎn)，本文提出基于調(diào)和模型的降質(zhì)圖像超分辨率復(fù)原算法。利用圖像RGB值對(duì)降質(zhì)圖像進(jìn)行重構(gòu)，有效提升降質(zhì)圖像的信噪比；運(yùn)用神經(jīng)網(wǎng)絡(luò)的能量函數(shù)完成降質(zhì)圖像超分辨率復(fù)原求解，有效降低計(jì)算難度，加快收斂速度。

2 降質(zhì)圖像色彩重構(gòu)

2.1 降質(zhì)圖像觀測(cè)模型

構(gòu)建能夠聯(lián)系初始高分辨率圖像與現(xiàn)實(shí)提取低頻分辨率圖像的觀測(cè)模型，該模型是降質(zhì)圖像超分辨率復(fù)原算法研究的必要前提。

y

()=

DM

(，)

B

()

z

()+

n

(，)

(1)

其中，

B

()表示圖像的模糊矩陣，

M

(，)代表圖像的第

l

幀與第

k

幀間的動(dòng)態(tài)補(bǔ)償矩陣，能夠經(jīng)過(guò)運(yùn)動(dòng)估計(jì)算法得出，

n

表示圖像噪聲；

D

∈

R

×表示降采樣矩陣。降采樣流程如式(2)所示

(2)

面對(duì)以上問(wèn)題，采用權(quán)值矩陣構(gòu)建新的圖像觀測(cè)模型，即

y

()=

M

(，)

Wz

()+

n

(，)

(3)

(4)

其中，

Ω

表示降采樣模型的支撐范圍?，F(xiàn)實(shí)中運(yùn)用矩陣元素的求解使用運(yùn)動(dòng)補(bǔ)償后的高分辨率圖像與對(duì)應(yīng)的降質(zhì)圖像，進(jìn)而有效解決各部分表述過(guò)程中帶來(lái)的誤差問(wèn)題。

2.2 圖像重構(gòu)

圖像重構(gòu)是圖像處理領(lǐng)域的一個(gè)關(guān)鍵環(huán)節(jié)，其基本理念是在減少損失圖像質(zhì)量與不損失圖像質(zhì)量的條件下，得出初始圖像像素的相似矩陣。為了提升降質(zhì)圖像的信噪比，采用圖像RGB值方式對(duì)降質(zhì)圖像進(jìn)行重構(gòu)，即根據(jù)原始圖像的像素RGB值與鄰域像素RGB值進(jìn)行重新組合而得出的，計(jì)算過(guò)程如式(5)所示。

(5)

(6)

3 調(diào)和模型下降質(zhì)圖像超分辨率復(fù)原算法

3.1 正則化圖像復(fù)原

降質(zhì)圖像超分辨率復(fù)原算法是通過(guò)指定的觀測(cè)圖像，各幀圖像上點(diǎn)的擴(kuò)展函數(shù)

h

與噪聲

n

的先驗(yàn)知識(shí)來(lái)得出初始圖像的最佳估計(jì)

X

。一般情況下噪聲是未知的，這就導(dǎo)致傳統(tǒng)的最小二乘圖像復(fù)原算法適定性較差，為此采用正則化方式對(duì)其進(jìn)行改進(jìn)，計(jì)算過(guò)程如式(7)所示

(7)

其中，

λ

表示正則化因子；

c

表示正則化算子。

3.2 圖像邊緣確定

(8)

通過(guò)式(8)得出全部像素方差的兩個(gè)極值，并將這兩個(gè)值的差當(dāng)作圖像邊緣判斷的閾值，即

(9)

其中，若

T

=1，則是圖像邊緣；若

T

=0，則是邊緣以外的部分。式(9)的正則化算子

c

經(jīng)常為高通濾波設(shè)備，但缺點(diǎn)是在縮放邊緣與抑制噪聲同時(shí)也將圖像邊緣過(guò)濾平滑。為此，需要事先分辨出圖像的邊緣，并從0°、45°、90°、135°角度進(jìn)行判別。

采用自適應(yīng)正則化對(duì)邊緣四個(gè)角度進(jìn)行修正，修正過(guò)程為

(10)

其中，

β

為邊緣角度的正常數(shù)值，判斷圖像邊緣對(duì)應(yīng)的四個(gè)方向的高通濾波設(shè)備

p

，如式(11)所示。并經(jīng)過(guò)式(12)計(jì)算得出自適應(yīng)正則化算子，即：

(11)

(12)

其中，

c

表示各個(gè)方向的高通濾波設(shè)備。

3.3 調(diào)和模型下降質(zhì)圖像復(fù)原計(jì)算

降質(zhì)圖像超分辨率復(fù)原算法主要分為兩種：一種為利用海量的實(shí)際幀圖像與降質(zhì)幀圖像數(shù)據(jù)進(jìn)行學(xué)習(xí)與訓(xùn)練，并利用訓(xùn)練后的網(wǎng)絡(luò)完成降質(zhì)圖像超分辨率復(fù)原；另一種采用調(diào)和模型方式，主要根據(jù)神經(jīng)網(wǎng)絡(luò)在求解優(yōu)化問(wèn)題上的突出優(yōu)點(diǎn)，把降質(zhì)圖像超分辨率復(fù)原算法整合成一個(gè)極小化問(wèn)題映射到神經(jīng)網(wǎng)絡(luò)能量函數(shù)上，經(jīng)過(guò)網(wǎng)絡(luò)演化完成降質(zhì)圖像復(fù)原。

設(shè)定

B

與

c

屬于塊狀Toeplitz矩陣，‖·‖代表

L

范數(shù)；|?

X

|=(?

X/

?

i

)+(?

X/

?

i

)表示復(fù)原圖像的梯度膜數(shù)值，則調(diào)和模型下圖像復(fù)原模型為

(13)

為了加快降質(zhì)圖像超分辨率復(fù)原速度，采用離散算法進(jìn)行改進(jìn)，得出

(14)

(15)

將式(15)引入神經(jīng)網(wǎng)絡(luò)能量函數(shù)，得出

(16)

其中，

w

，表示網(wǎng)絡(luò)權(quán)參數(shù)；

b

表示偏置矢量。去掉常數(shù)項(xiàng)，得出

(17)

(18)

調(diào)和模型下降質(zhì)圖像復(fù)原算法詳細(xì)過(guò)程如下：

通過(guò)式(16)、(17)和(18)，得出神經(jīng)網(wǎng)絡(luò)的權(quán)參數(shù)矩陣與偏置矢量

W

=(

w

，)、

b

=(

b

)；在神經(jīng)網(wǎng)絡(luò)更新時(shí)，神經(jīng)元的變換量為Δ

x

，Δ

x

∈

R

。更新前、后網(wǎng)絡(luò)運(yùn)行狀態(tài)分別記錄成

x

與

x

+1，

x

+1=

x

+Δ

x

e

，

e

表示第

i

個(gè)元素是1的單位矢量，而更新后神經(jīng)網(wǎng)絡(luò)能量變換成Δ

E

=

E

(

x

+Δ

x

e

)-

E

(

x

)=-(1

/

2)

w

(Δ

x

)-

State

Δ

x

(19)

4 實(shí)驗(yàn)結(jié)果分析

4.1 視覺(jué)感知性能對(duì)比分析

實(shí)驗(yàn)在PROTEUS7.6環(huán)境下進(jìn)行仿真，為了證實(shí)所提算法的有效性，選擇典型Lena與、Car、Fruit圖像大小尺寸為64×64，并將多尺度生成對(duì)抗網(wǎng)絡(luò)算法與自適應(yīng)錨定鄰域回歸算法當(dāng)作對(duì)照組，利用垂直方向運(yùn)動(dòng)模糊降質(zhì)方式對(duì)這三種算法性能進(jìn)行對(duì)比，對(duì)比結(jié)果如圖1所示。

當(dāng)S=9時(shí)對(duì)Lena圖像(圖1(a))進(jìn)行運(yùn)動(dòng)模糊，并添入20dB的白噪聲，得出降質(zhì)圖像與重構(gòu)后圖像。并使用對(duì)照組算法與本文調(diào)和模型算法對(duì)降質(zhì)圖像進(jìn)行超分辨率復(fù)原。

圖1 降質(zhì)圖像超分辨率復(fù)原

從圖1顯著看出，本文算法性能優(yōu)于對(duì)照組算法，因?yàn)楸疚乃惴ɡ脛?dòng)態(tài)補(bǔ)償矩陣搭建觀測(cè)模型，并利用圖像RGB值方式對(duì)降質(zhì)圖像進(jìn)行重構(gòu)，運(yùn)用神經(jīng)網(wǎng)絡(luò)的能量函數(shù)完成降質(zhì)圖像的復(fù)原，進(jìn)而極大程度上提升降質(zhì)圖像分辨率。為此，調(diào)和模型計(jì)算結(jié)果的精度較高。

4.2 修復(fù)圖像信噪比對(duì)比分析

在仿真中，使用圖像RGB數(shù)值重構(gòu)圖像時(shí)構(gòu)造R=10幅圖像，設(shè)定圖像邊緣判斷T=1，在正則化算子運(yùn)算流程中，λ取值為0.2，再將實(shí)驗(yàn)結(jié)果的信噪比來(lái)對(duì)比降質(zhì)圖像超分辨率復(fù)原的結(jié)果，結(jié)果如表1所示，計(jì)算過(guò)程為

(20)

表1 三種算法的信噪比對(duì)比

信噪比值越大表明降質(zhì)圖像超分辨率復(fù)原效果越佳。從表1可知，本文調(diào)和模型算法得出三個(gè)檢測(cè)樣本圖像的信噪比值最大，因?yàn)楸疚恼{(diào)和模型算法能夠利用圖像的梯度數(shù)據(jù)，進(jìn)而較好地保留原始圖像邊緣信息，為此，得出信噪比值大于多尺度生成對(duì)抗網(wǎng)絡(luò)算法與自適應(yīng)錨定鄰域回歸算法。

4.3 收斂性能對(duì)比分析

實(shí)驗(yàn)截取Lena圖像中16×16的大小尺寸進(jìn)行檢測(cè)，λ取值為0.3。圖2展示出這幾種算法隨著迭代次數(shù)增加，信噪比的變化曲線。

圖2 收斂性變換曲線

從圖2明顯看出，本文調(diào)和模型算法迭代次數(shù)少于多尺度生成對(duì)抗網(wǎng)絡(luò)算法與自適應(yīng)錨定鄰域回歸算法迭代次數(shù)，同時(shí)信噪比數(shù)值均高于這兩種算法，因?yàn)楸疚恼{(diào)和模型算法運(yùn)用神經(jīng)網(wǎng)絡(luò)將降質(zhì)圖像復(fù)原簡(jiǎn)化成一個(gè)極小問(wèn)題映射到網(wǎng)絡(luò)能量函數(shù)中，進(jìn)而降低圖像復(fù)原運(yùn)算難度，提升收斂速度，并且復(fù)原圖像分辨率較高。因此，本文調(diào)和模型算法性能最佳。

5 結(jié)論

圖像超分辨率復(fù)原是從降質(zhì)圖像提取出初始圖像最佳估計(jì)的一種方式，被廣泛運(yùn)用于醫(yī)療、地理以及重要圖像處理的領(lǐng)域中。降質(zhì)圖像復(fù)原是數(shù)字化圖像處理中主要難題。在數(shù)學(xué)領(lǐng)域中，降質(zhì)圖像復(fù)原屬于一種“病態(tài)”問(wèn)題，其結(jié)果不會(huì)依賴于觀測(cè)結(jié)果，觀測(cè)過(guò)程中噪聲會(huì)嚴(yán)重影響圖像復(fù)原的效果，即使已知降質(zhì)函數(shù)的狀況，也極難從降質(zhì)圖像中提取超高分辨率的復(fù)原圖像。為此，提出基于調(diào)和模型的降質(zhì)圖像超分辨率復(fù)原算法，此方法極大程度上提升降質(zhì)圖像分辨率，并且具有較高信噪比，但因?yàn)檠芯繒r(shí)間有限，所提方法不能很好地適用于較高像素圖像復(fù)原計(jì)算，日后可以對(duì)該算法進(jìn)行完善。