基于動態(tài)卷積模板的非均勻光線圖像復(fù)原算法研究

劉星辰，朱晉

（1.吉林省氣象信息網(wǎng)絡(luò)中心，長春130062；2.延邊大學(xué)，延吉133002）

0 引言

圖像復(fù)原（Restoration）是將所觀測到的退化圖像恢復(fù)到退化前的原始圖像[1]。經(jīng)典圖像復(fù)原算法如代數(shù)法、頻域法、正則化法等一般認(rèn)為點擴展函數(shù)（PSF）是空間移不變的[2]，并且需要一定的先驗知識。但在實際應(yīng)用中，退化信息往往是完全未知的，因此將未知點擴展函數(shù)（PSF）和梯度、強度先驗的情況下，從退化圖像恢復(fù)出原始圖像的過程稱為盲圖像復(fù)原[3]。盲圖像復(fù)原以擴散函數(shù)（PSF）是否已知分為盲去卷積和非盲去卷積。

實際生活中盲去卷積具有更高的實用價值，目前大量研究集中在各類去噪聲、去運動模糊的圖像復(fù)原算法上，針對曝光時間長短導(dǎo)致的非均勻光線圖像的研究非常少。文獻[4]中對低頻和高頻系數(shù)分別提出改進雙邊濾波的Retinex圖像增強算法和改進閾值去噪算法，在有效去除噪聲的基礎(chǔ)上改善了圖像的對比度。文獻[5]利用自適應(yīng)加權(quán)最小二乘濾波算法改進了Retinex算法，保持圖像自然度的同時增強了對比度。文獻[6]針對弱光圖像提出了一種圖像融合算法解決圖像模糊及光線不足問題。文獻[7]提出了一種高曝光圖像統(tǒng)計信息的亮度通道先驗方法，經(jīng)過曝光校正、非均勻去噪和細(xì)節(jié)增強后，得到曝光良好的無噪聲圖像。本文針對實際問題中非空間移不變點擴展函數(shù)（PSF），提出了一種動態(tài)盲反卷積核的構(gòu)造函數(shù)，用于對非均勻光線圖像進行盲圖像復(fù)原。

1 圖像復(fù)原理論

1.1 圖像退化模型

在成像過程中，像平面上的點是物平面上各點經(jīng)混合疊加的反映，在不考慮加性噪聲的前提下，假設(shè)圖像退化模型為：

其中為g( x,y)觀測到的降質(zhì)圖像，h( x,y)為描述成像系統(tǒng)對物點的擴散程度，即點擴散函數(shù)（PSF），f( x,y)為輸入圖像，*運算符表示卷積，（α，β）和（x，y）分別是物面和像面的坐標(biāo)。假設(shè)用近光軸的點擴散函數(shù)近似代替整個像場的點擴散函數(shù),那么光學(xué)成像系統(tǒng)的點擴散函數(shù)就是與自身位置無關(guān)的，是空間移不變的[8]。目前已經(jīng)有很多有效的算法用于解決這類圖像的復(fù)原問題，但實際上受光學(xué)成像系統(tǒng)視場像差、物平面離焦量等影響，PSF是變化的。因此，一些假設(shè)PSF不變或者已知先驗信息的圖像復(fù)原算法不適用實際問題。

1.2 圖像處理中的卷積運算

二維連續(xù)函數(shù)的卷積定義為：

二維離散函數(shù)的卷積定義為：

如果f(i,j)，g(i,j)為大小為M×N的兩個函數(shù)，則它們的離散卷積定義如下：

其中，h(i,j)為輸出圖像矩陣本文中為復(fù)原圖像，f(i,j)為原始圖像矩陣本文中為待復(fù)原圖像，沖激函數(shù)g(i,j)為卷積模板。h( i ,j)矩陣內(nèi)點(i,j)輸出的響應(yīng)值是通過平移卷積模板g(i,j)得到的，與(i,j)的值及(i,j)鄰域值有關(guān)。卷積模板g(i,j)一般為固定的，如均值濾波是用(i,j)的值和領(lǐng)域值的平均值替換卷積后圖像中的每個像素值。無論卷積模板大小，模板內(nèi)的值均為同一平均值。

2 圖像復(fù)原算法

2.1 曝光過度退化模型

現(xiàn)有的圖像退化研究主要針對模糊退化[1]，幾乎沒有用于模擬光學(xué)成像系統(tǒng)光線變化的退化算子。因此本文根據(jù)光學(xué)成像模型內(nèi)非均勻光圖像的分布特點，設(shè)計如公式（5）所示的過度曝光退化模型，利用高斯分布模擬圖像的過度曝光過程。曝光過度退化模型定義為：

其中f( x,y)為原圖像，μ是f( x,y)的均值，σ是f( x,y)的均方差，H( x,y)為曝光過度處理后的圖像。

2.2 動態(tài)卷積模板的構(gòu)造

卷積模板和圖像像素點的值共同決定了卷積后圖像的像素值，現(xiàn)有的卷積模板如均值濾波、最大值濾波、最小值濾波、中值濾波等，卷積模板大小確定的情況下，卷積模板內(nèi)的值是固定的。例如大小為3的均值卷積模板內(nèi)9個值是相同的，均值模板雖然可以噪聲，但忽略了圖像的局部信息，沒有利用好待復(fù)原圖像像素點與其鄰域之間具有強相關(guān)性的信息，而本文提出的動態(tài)卷積模板是根據(jù)像素點及其鄰域像素構(gòu)造出系數(shù)變化的局部卷積模板。利用相鄰像素點之間的強相關(guān)性對圖像進行卷積運算，可最大化利用待處理圖像中的先驗信息。動態(tài)模板Hij構(gòu)造算公式如下：

其中f(i,j)表示圖像f中的某一像素點，a,b是動態(tài)模板Hij的坐標(biāo)，且a=1,2,…,N,b=1,2,…,N為模板規(guī)模且N為奇數(shù)。

2.3 基于動態(tài)模板的圖像復(fù)原算法

根據(jù)2.2小節(jié)的動態(tài)卷積模板構(gòu)造公式計算動態(tài)模板后可以用于對圖像的復(fù)原，算法如下：

算法開始

Step 1：讀取一張待處理圖像；

Step 2：判斷是否遍歷完非邊框點，是則進入Step 6，否則進入Step 3；

Step 3：對于每一個要處理的點，利用公式（6）求取卷積模板；

Step 4：對該點利用Step 3產(chǎn)生的卷積模板進行卷積運算，得到該點新像素值；

Step 5：轉(zhuǎn)到Step 2；

Step 6：對圖像進行[0,255]的線性映射，得到修復(fù)后的圖像；

算法結(jié)束

3 實驗結(jié)果及分析

當(dāng)白天拍攝天空中的云時，太陽光線強，易導(dǎo)致局部過亮，或者逆光造成圖像光線不均勻，影響圖像細(xì)節(jié)。本文實驗采用了PyCharm作為實驗環(huán)境，根據(jù)2.2小節(jié)中的動態(tài)卷積模板構(gòu)造算法構(gòu)造模板，設(shè)置模板大小N=3。圖1（a）為曝光過度的原始圖像，圖1（b）為使用本文算法復(fù)原后的圖像，修復(fù)后的圖像展現(xiàn)出了原始曝光過度圖像中沒有體現(xiàn)的局部細(xì)節(jié)，整體光線變得更加均勻，圖像對比度增強。對過度曝光的非均勻光線圖像進行修復(fù)后，利用文獻[9]中方法進行天空分割。圖2（a）為原始圖像天空分割后的結(jié)果，可以看到有部分天空被作為地面錯誤地分割了，圖2（b）為圖像復(fù)原后的分割結(jié)果，錯誤區(qū)域明顯減小。

圖1 天空圖實驗結(jié)果

圖2 天空圖分割結(jié)果

在圖像復(fù)原研究中，需要可靠的圖像評價標(biāo)準(zhǔn)才能正確評價圖像復(fù)原的效果。目前的圖像復(fù)原評價方法分為主觀評價和客觀評價。圖像復(fù)原的主觀評價是通過人眼觀察圖像，對復(fù)原效果進行主觀評價。主觀評價受到人的心理因素影響，穩(wěn)定性、實時性較差。客觀評價是根據(jù)數(shù)學(xué)模型計算得出的量化指標(biāo)，穩(wěn)定性好，具有一定的可靠性。利用信噪比（SNR）、峰值信噪比（PSNR）以及均方誤差（MSE）等評價方法來驗證本文提出的基于動態(tài)卷積模板的非均勻光線圖像復(fù)原算法的復(fù)原效果。實驗使用1.1小節(jié)介紹的曝光退化模型，將原始圖像退化為曝光過度的情況，然后使用本文提出的圖像復(fù)原算法對退化后的圖像進行盲去卷積復(fù)原。實驗結(jié)果如圖3-圖8所示。表1分別記錄了圖3-圖8實驗的、信噪比（SNR）、峰值信噪比（PSNR）、均方誤差（MSE）及原始圖像信息熵和復(fù)原圖像信息熵。

表1 客觀評價指標(biāo)

圖3 紋理圖

圖4 人類圖

圖5 荷花圖

圖6 貓類圖

圖7 白云圖

圖8 犬類圖

表1中E_I表示原始圖像的信息熵，E_R表示修復(fù)圖像的信息熵。信噪比SNR和峰值信噪比PSNR的值越大表示與原始圖像的偏差越小，在本文的實驗結(jié)果中SNR的值均在53以上，PSNR均在7.5以上，表示經(jīng)過本文提出的基于動態(tài)卷積模板的非均勻光線圖像復(fù)原算法復(fù)原后的圖像質(zhì)量良好。實驗結(jié)果中均方值誤差較小，其值均在在0.1左右，其中人類圖和貓類圖的均方值誤差在0.08左右，說明經(jīng)過本文提出的算法復(fù)原后的圖像和原始圖像差異非常小，本文算法能夠很好地復(fù)原原始圖像的像素值。綜上，本文提出的圖像修復(fù)算法客觀評價指標(biāo)均表現(xiàn)優(yōu)異，對曝光過度圖像有良好的復(fù)原效果。

4 結(jié)語

本文提出了一種非靜態(tài)卷積模板的盲圖像復(fù)原算法，用于修復(fù)曝光過度的非均勻光圖像具有良好的復(fù)原效果，在氣象地基云圖處理領(lǐng)域、衛(wèi)星圖像處理領(lǐng)域、大氣科學(xué)等領(lǐng)域有著廣闊的應(yīng)用范圍。另外，本文還提出了一種曝光過度退化模型，能夠有效模擬真實情況下的曝光過度圖像，可用于非均勻光線圖像數(shù)據(jù)集的建立。