基于維納濾波和綜合評價因子的遙感圖像復(fù)原①

王允森，王 勇，左 晨，孟垂哲

(山東航天電子技術(shù)研究所，煙臺 264670)

0 引言

在遙感圖像處理領(lǐng)域，圖像的復(fù)原和重建是一個非常重要的過程。通常來講，遙感圖像的退化是由各種因素引起的，如大氣擾動、拍攝震動、目標(biāo)輻射、電子信號轉(zhuǎn)換等[1-2]。遙感圖像復(fù)原的目標(biāo)即是將退化的遙感圖像盡量恢復(fù)到原始狀態(tài)。

傳統(tǒng)的圖像復(fù)原模型一般采用逆濾波方法[3]。由于大部分的圖像信息都存在于圖像中的邊緣，因此，采用濾波方法進行圖像復(fù)原不僅要去除大部分模糊和噪聲，還要保留圖像的細節(jié)。由于圖像的細節(jié)和噪聲經(jīng)常在同一區(qū)域，這使得圖像的去燥平滑和保留細節(jié)變?yōu)橐粚ο嗷ッ艿膯栴}。傳統(tǒng)的方法難以解決這個問題[4-5]。為了解決這個矛盾，許多改進的逆濾波的方法提出，包括正則化方法、EM算法[6]和GEM算法[7]等。目前，常用的遙感圖像半盲復(fù)原或盲復(fù)原算法一般基于點擴散函數(shù)展開，比如Richardson-Lucy方法、維納濾波方法、最小二乘方法[8-9]等。

近幾年，隨著處理器計算能力的不斷增強，許多學(xué)者的研究重點轉(zhuǎn)移到神經(jīng)網(wǎng)絡(luò)方法上。這些方法采用基于模型的神經(jīng)網(wǎng)絡(luò)實現(xiàn)遙感圖像幅復(fù)原[10]。Zhou 提出的神經(jīng)網(wǎng)絡(luò)復(fù)原方法采用Hopfied神經(jīng)網(wǎng)絡(luò)來控制圖像復(fù)原的效果[11]。但是，用Zhou的方法存在網(wǎng)絡(luò)結(jié)構(gòu)大、網(wǎng)絡(luò)狀態(tài)更新慢等問題。為了克服這些缺點，Paik等提出了一種改進的Hopfied神經(jīng)網(wǎng)絡(luò)灰度遙感圖像復(fù)原方法[12]，此后，該算法又被諸多學(xué)者再網(wǎng)絡(luò)模型上進行了改進[13-16]。但是這類算法在計算權(quán)重矩陣是都需要耗費大量的空間和時間。后續(xù)的深度學(xué)習(xí)方法大都在此方法的基礎(chǔ)上，盡量減少運算時間和運算空間。

另一種廣泛應(yīng)用的圖像復(fù)原方法是經(jīng)典維納濾波算法。標(biāo)準(zhǔn)的維濾波器是一個線性的、空間不變的濾波器。維納濾波有很多不同的表達方式，信噪比模型，統(tǒng)計模型、參數(shù)估計統(tǒng)計模型等[17]。這些方法都可以稱之為“維納濾波”，但是這些方法的原理卻不盡相同。采用維納濾波進行遙感圖像復(fù)原的關(guān)鍵問題是如何計算原始圖像和退化圖像的功率譜比，傳統(tǒng)的方法一般采用常數(shù)代替，這種方法一般會引入新的噪聲。

為了克服傳統(tǒng)維納濾波方法的不足，在傳統(tǒng)維納濾波的基礎(chǔ)上提出了一種基于改進維納濾波和綜合評價因子的遙感圖像復(fù)原算法，該算法采用維納濾波進行退化光學(xué)圖像的復(fù)原，并采用直線運動方法估算圖像的退化函數(shù)。噪聲圖像和原始圖像的功率譜比采用迭代方法計算，而迭代的依據(jù)為綜合評價因子。該評價因子集成了三種無參考質(zhì)量評價方法，包括標(biāo)準(zhǔn)差、對比度和空間頻率。為了進一步提高遙感圖像質(zhì)量，采用BM3D方法對維納濾波復(fù)原后的圖像進行二次降噪處理。實驗表明，提出的圖像復(fù)原算法能夠取得良好的遙感圖像復(fù)原的效果，并能將運算時間控制在可接受的范圍內(nèi)。

1 遙感圖像退化和復(fù)原模型

在進行遙感圖像復(fù)原前，需要根據(jù)圖像的參數(shù)建立的圖像退化模型，該模型可以反映出遙感圖像退化的原因和機制[18]。如圖1所示，f(x,y)是原始圖像，g(x,y)是退化的圖像，h(x,y)是點退化函數(shù)，n(x,y)是高斯噪聲函數(shù)。

圖1 圖像退化和復(fù)原模型

假設(shè)是h(x,y)一個線性空間不變系統(tǒng)，則遙感圖像的退化過程可以用式(1)表示

g(x,y)=f(x,y)*h(x,y)+n(x,y)

(1)

式(1)的傅里葉變換函數(shù)可以表示為：

G(x,y)=F(u,v)H(u,v)+N(u,v)

(2)

通過式(2)可以算出原始圖像的傅里葉表達式：

(3)

假設(shè)r(x,y)表示復(fù)原后的圖像函數(shù)，則遙感圖像復(fù)原的目的則是使下式成立。

R(u,v)=F(u,v)

(4)

2 改進維納濾波和綜合評價因子的遙感圖像復(fù)原

2.1 維納濾波

采用維納濾波方法進行圖像復(fù)原是建立在系統(tǒng)退化函數(shù)和噪聲統(tǒng)計的基礎(chǔ)上。通常情況下，退化后的圖像和噪聲函數(shù)都是隨機函數(shù)。而維納濾波的目標(biāo)是找到一個最優(yōu)的濾波器，使得復(fù)原后的圖像和原圖像之間的差值最小。

根據(jù)遙感圖像復(fù)原模型和維納濾波的復(fù)原機制，圖像復(fù)原問題可以轉(zhuǎn)化為函數(shù)的最小化問題，如式(5)所示。

(5)

式中，r(x,y)為復(fù)原后的圖像，e2表示復(fù)原后的圖像與原始圖像之間的均方誤差，E{·}表示數(shù)學(xué)期望。

當(dāng)計算均方誤差時，頻域空間的復(fù)原圖像函數(shù)可以通過式(6)計算。

(6)

式中，H(u,v)是退化函數(shù)，H*(u,v)表示H(u,v)的共軛復(fù)函數(shù)，Sn(u,v)=|N(u,v)|2表示噪聲函數(shù)的功率譜，Sf(u,v)=|F(u,v)|2表示退化前圖像的功率譜。

因此，維納濾波的轉(zhuǎn)化方程可以表示為：

Hwiener(u,v)=

(7)

除非u=v且H(u,v)=Sn(u,v)=0，否則退化函數(shù)不會等于0。維納濾波方法是建立在最小統(tǒng)計值的基礎(chǔ)上。所以從某種意義上說，維納濾波是一種遙感圖像復(fù)原的最優(yōu)算法。

當(dāng)退化圖像的信噪比相對比較高時，Sn(u,v) ≤Sf(u,v)，此時，Sn(u,v)/Sf(u,v)的值將會非常小。這時，維納濾波變?yōu)閭鹘y(tǒng)的逆濾波方法，如式(8)所示。

(8)

另一方面，Sn(u,v)≥Sf(u,v)時，維納濾波器Hwiener(u,v)→0。此時，維納濾波能夠避免逆濾波在圖像復(fù)原過程中噪聲函數(shù)過于放大的問題。

在進行維納濾波之前，需要獲得未退化圖像的功率值Sf(u,v)和噪聲函數(shù)的功率值Sf(u,v)。在實際應(yīng)用時，這兩個值一般都是未知的，也難以準(zhǔn)確估算。目前常用的方法是令Sn(u,v)/Sf(u,v)等于一個常數(shù)矩陣C。這樣，維納濾波的表達式改為：

(9)

式中，C表示未退化圖像和噪聲圖像的功率比。C的值對于圖像復(fù)原的影響非常大。當(dāng)C比較小時，意味著信噪比非常小，維納濾波復(fù)原后的圖像輪廓會更加清晰，圖像更加明亮，但是對噪音的控制非常有限。另一方面，如果C比較大，則復(fù)原后他圖像能夠在一定程度上抑制噪聲的放大，但是圖像的清晰度往往較差。

因此，采用維納濾波進行遙感圖像的復(fù)原需要解決兩個關(guān)鍵的問題：退化函數(shù)h(x,y)的估計，功率譜參數(shù)C的計算。

2.2 退化函數(shù)估計

根據(jù)遙感圖像退化的模型可以得出，如果退化圖像的點擴散函數(shù)或退化系統(tǒng)的傳遞函數(shù)能夠估算出來，則維納濾波或逆濾波可用于處理遙感圖像的退化。這里算法中主要考慮勻速直線運動造成的遙感圖像退化。假設(shè)退化的方向已知，則退化的圖像可以通過旋轉(zhuǎn)使得退化方向轉(zhuǎn)到水平方向上，二維的點擴散函數(shù)估算問題可以變成一維[19]。退化系統(tǒng)的點擴散函數(shù)滿足下式。

(10)

式中，d式退化尺度。這里采用自相關(guān)函數(shù)來計算退化尺度d。具體步驟如下：

步驟1：在垂直方向?qū)ν嘶瘓D像g(x,y)進行差分運算。

gy(i,j)=g(i,j)-g(i,j-1)

(11)

步驟2：在水平方向?qū)κ?11)進行差分運算。

gyx(i,j)=gy(i,j)-gy(i-1,j)

(12)

步驟3：在式(12)的基礎(chǔ)上，計算退化圖像的每一行的自相關(guān)函數(shù)。如果第j行有l(wèi)個像素點，則自相關(guān)函數(shù)可以表達為：

(13)

式中M是圖像的寬度。

步驟4：計算所有自相關(guān)函數(shù)的均值，并畫出自相關(guān)函數(shù)的曲線。通過尋找曲線的最小值，便可計估算出退化圖像的退化尺度。

2.3 功率譜比C估算

對于退化的遙感圖像的復(fù)原，并沒有相對應(yīng)的清晰圖像進行對比。所以，這里采用無參考圖像質(zhì)量評價方法對遙感圖像進行復(fù)原參考，這里采用了3種常見的圖像質(zhì)量評價方法：灰度標(biāo)準(zhǔn)差、對比度、空間頻率[20-22]。

(1)標(biāo)準(zhǔn)差(Standard Deviation,STD)

標(biāo)準(zhǔn)差STD表示了圖像像素灰度值相對于均值的離散程度。如果標(biāo)準(zhǔn)差越大，表明圖像中灰度級越分散，圖像質(zhì)量也就越好。標(biāo)準(zhǔn)差是最簡單的評估圖像質(zhì)量的方法，用來評估圖像灰度的變化，其計算公式為：

(14)

式中，M,N分別表示遙感圖像的寬度和高度，u表示圖像像素的均值。

(15)

(2)對比度(Contrast Ratio,CR)

圖像的對比度代表了圖像黑與白的比值，也就是遙感圖像從黑到白的漸變層次，比值越大，從黑到白的漸變層次越多，圖像的色彩越豐富。采用四鄰域方法計算圖像的對比度，首先對原始圖像的四個邊界進行復(fù)制擴展，假設(shè)圖像由f變?yōu)閒s，而圖像的大小由M×N變?yōu)?M+2)×(N+2)，對比度的計算公式如下：

(16)

其中，δ(i,j)，表示圖像fs相鄰像素間的灰度差，計算方法如下：

δ(i,j)=[fs(i,j)-fs(i-1,j)]2+[fs(i,j)-fs(i,j-1)]2

+[fs(i,j)-fs(i+1,j)]2+[fs(i,j)-fs(i,j+1)]2

(17)

(3)空間頻率(Spatial Frequency,SF)

空間頻率SF指標(biāo)反映了融合圖像在空域的總體活躍程度，空間頻率值越大，對應(yīng)融合結(jié)果越好，具體定義為：

(18)

其中，RF和CF分別為圖像的行頻率和列頻率。對于大小為M×N的待評價圖像f(x,y)，其行頻率和列頻率計算如下：

(19)

(20)

為了對遙感圖像進行綜合評價，提出的綜合評價因子Qc通過STD、CR和SF計算。

(21)

式中，w1,w2和w3分別表示三種評價方法的權(quán)重參數(shù)。STDr,CRr和SFr是復(fù)原后圖像的3個評價參數(shù)，STDg,CRg和SFg是復(fù)原前圖像的3個評價參數(shù)。

獲得最佳功率譜比C意味著提出的綜合評價指標(biāo)Qc必須越大越好。

這里采用一種自迭代維納濾波方法計算功率譜比C的最優(yōu)值。步驟如下

步驟1：設(shè)置功率譜比C0、迭代步長ΔC和迭代次數(shù)Ct的初值，令C=C0；

步驟2：通過功率譜比的值，對遙感圖像進行維納濾波，并計算圖像的綜合評價因子Qc。

步驟3：更新功率譜比C的值，C=C0+ΔC.迭代次數(shù)t=t+1.

步驟4：循環(huán)執(zhí)行步驟2和步驟3，直到t=Ct.經(jīng)過迭代，獲得了一系列圖像綜合評價因子的值。

步驟5：通過Qc的最大值，找到最優(yōu)的功率譜比Copt。如果Copt不是C的第一個值或最后一個值，則Copt為真正最優(yōu)的功率譜比，迭代結(jié)束。

步驟6：如果最大的綜合評價因子Qc對應(yīng)C的初始值，則ΔC=ΔC/10，并循環(huán)執(zhí)行步驟2～步驟5； 另一方面，如果Qc對應(yīng)C的最后一個值，則ΔC=ΔC×10，并重復(fù)步驟2～步驟5直到迭代結(jié)束。

執(zhí)行步驟6的主要原因是防止不適當(dāng)?shù)墓β首V比初值C造成局部最小的問題。

3 實驗結(jié)果及復(fù)原效果分析

3.1 仿真驗證

在本章中，采用仿真實驗來驗證提出的改進維納濾波算法和綜合評價因子，測試圖像如圖2(a)所示，大小為512像素×512像素。實驗過程首先對該圖像進行勻速直線運動的PSF退化處理和高斯噪聲污染，如圖2(b)所示，退化尺度設(shè)為5，迭代參數(shù)C0=0,ΔC=0.001,Ct=100，為了確定三個評價因子的權(quán)重系數(shù)，分別采用三種評價方法作為單獨對測試圖像進行復(fù)原，并統(tǒng)計綜合評價因子的大小。

(a)原始圖像 (b)退化圖像

采用標(biāo)準(zhǔn)差、對比度、空間頻率作為單獨評價因子，分別對退化圖像進行復(fù)原，復(fù)原效果如圖3(a)～(c)所示，對應(yīng)的綜合評價因子和功率譜比的值如表1所示?？梢钥闯觯捎脴?biāo)準(zhǔn)差進行圖像復(fù)原的參考因子時，復(fù)原圖像中的前景與背景區(qū)分比原圖和退化圖像更加明顯，但圖像中的某些細節(jié)被覆蓋掉。圖像的對比度代表了圖像黑與白的比值，也就是圖像從黑到白的漸變層次，然而退化圖像中包含了許多噪聲信息，所以只采用對比度作為單獨評價因子時，復(fù)原結(jié)果的漸變層次反映在了噪聲上，處理結(jié)果不理想。而空間頻率關(guān)注圖像上下文紋理的豐富程度，復(fù)原圖像比較接近原始圖像，但是背景和前景的對比要弱于標(biāo)準(zhǔn)差。

表1 三種評價因子統(tǒng)計比較

遙感圖像的處理一般是為了使得圖像的背景和目標(biāo)對比更加明顯，但需盡可能的保留圖像紋理信息。根據(jù)三種評價因子的復(fù)原結(jié)果和統(tǒng)計值，在進行遙感圖像復(fù)原時，綜合評價因子中，應(yīng)當(dāng)使得標(biāo)準(zhǔn)差所占比重最大，對比度所占比重最小。

為了進一步說明改進維納濾波算法的優(yōu)點，將傳統(tǒng)維納濾波方法和逆濾波方法同改進的維納濾波方法進行了對比。根據(jù)以上分析，STD、CR、和SF三個因子的比重分別設(shè)置為0.5、0.2、0.3，測試對比結(jié)果如圖4所示。

(a)逆濾波 (b)傳統(tǒng)維納濾波 (c)改進的維納濾波

對比圖4中三種方法的復(fù)原結(jié)果，從人眼的觀察角度而言，改進的維納濾波方法的復(fù)原效果比其他兩種方法都要好。文獻[9]指出，如果要改圖像未被噪聲污染，則逆濾波方法是一種比較好的復(fù)原方法。但是，在存在噪聲污染的前提下，逆濾波的效果難以令人滿意，傳統(tǒng)的維納濾波方法同樣如此。

傳統(tǒng)維納濾波執(zhí)行過程中，功率譜比CSNR通過圖像的信噪比計算，即CSNR=N(u,v)/F(u,v)。

圖4(b)顯示了傳統(tǒng)維納濾波的復(fù)原效果?？梢钥闯?，由于新的噪聲的引入，復(fù)原后的圖像質(zhì)量甚至不高于污染后的圖像圖4(b)。表2統(tǒng)計了原始圖像、退化圖像和三中復(fù)原方法的評價參數(shù)計算結(jié)果和運算時間?？梢钥闯?，提出的改進維納濾波算法在存在高斯噪聲和直線退化的影響下，復(fù)原效果相對有效，用該方法計算的峰值信噪比PSNR也相對較大。此外，由于改進的維納濾波需要多次復(fù)原圖像，并迭代計算綜合評價因子大小，因此運算時間較逆濾波和傳統(tǒng)維納濾波有所提高，對于512×512的測試圖像，運算時間為141ms，是逆濾波的2.5倍，傳統(tǒng)維納濾波的1.7倍，并不是數(shù)量級的提升。但綜合評價因子大小卻是另外兩種方法的8.2倍、19.2倍，圖像質(zhì)量有了顯著提高。

表2 三種處理方法比較

3.2 遙感圖像復(fù)原結(jié)果

為了進一步說明改進維納濾波的優(yōu)勢，選擇4張大小為2500像素×2500像素的遙感圖像進行算法驗證，如圖5所示。這些遙感圖像都經(jīng)過直線點擴散函數(shù)的退化和高斯噪聲的污染，但是退化的尺度未知。根據(jù)遙感圖像的處理經(jīng)驗，初始的參數(shù)設(shè)置如下：C0=0.0025, ΔC=0.001,Ct=100，三種評價參數(shù)的權(quán)重分別設(shè)為0.5，0.2和0.3。此外，遙感圖像往往存在非平穩(wěn)的隨機過程的噪聲，采用成熟的BM3D方法對維納濾波復(fù)原后的圖像進行二次降噪處理。

(a1)原始遙感圖像 (b1)維納濾波復(fù)原后的遙感圖像 (c1)BM3D方法去噪后的圖像

(a2)原始遙感圖像 (b2)維納濾波復(fù)原后的遙感圖像 (c2)BM3D方法去噪后的圖像

(a3)原始遙感圖像 (b3)維納濾波復(fù)原后的遙感圖像 (c3)BM3D方法去噪后的圖像

(a4)原始遙感圖像 (b4)維納濾波復(fù)原后的遙感圖像 (c4)BM3D方法去噪后的圖像

從圖5的原始圖像和復(fù)原圖像的比較中可以看出，復(fù)原圖像的輪廓和圖像細節(jié)更加清晰。圖像中的地面特征更加明顯和明亮。表3為4幅遙感圖像三種評價因子的大小?？梢钥闯?，采用基于綜合評價因子的改進維納濾波進行圖像復(fù)原，圖像的質(zhì)量有了一定程度的提高。而經(jīng)過BM3D算法后，遙感圖像的噪音進一步減少，可作為目標(biāo)檢測、識別的輸入對象。

表3 處理前后質(zhì)量參數(shù)對比

為了進一步測試算法在星載平臺的處理性能，選擇嵌入式圖像處理運行平臺測試算法運行時間。Nvidia Tegra X2是目前廣泛應(yīng)用的嵌入式GPU平臺，功耗僅為7.5瓦，浮點運算能力能夠達到1.3Tflops，目前在工廠機器人、無人機和智能攝像頭等領(lǐng)域應(yīng)用廣泛，并已在某些實驗衛(wèi)星成功應(yīng)用，主要用于遙感圖像的快速預(yù)處理和目標(biāo)檢測識別等。因此選擇Nvidia Tegra X2作為遙感圖像處理平臺。經(jīng)統(tǒng)計，算法在Nvidia Tegra X2平臺復(fù)原100副相同大小的遙感圖像的平均時間為4.54秒，對于2500×2500大小的圖像是可以接受的。

4 結(jié)束語

通過分析光學(xué)遙感圖像退化的原因和維納濾波的原理，提出了一種新的基于改進維納濾波和綜合評價因子的遙感圖像半盲復(fù)原算法，與傳統(tǒng)的維納濾波方法相比，提出的方法具有以下優(yōu)勢：(1)通過基于綜合評價因子的迭代方法，可以獲得更加精確的功率譜值，這對遙感圖像的復(fù)原相當(dāng)重要；(2)提出的半盲復(fù)原算法集成了對比度、標(biāo)準(zhǔn)差和空間頻率三種無參考圖像質(zhì)量評價因子，這三種因子在一定程度上代表了原始未退化圖像的屬性。實現(xiàn)表明提出的算法能夠獲得良好的遙感圖像復(fù)原效果，提出的算法能夠?qū)b感圖像進行復(fù)原處理。