改進(jìn)的局部最小像素先驗(yàn)遙感圖像盲復(fù)原算法①

朱 兵 王 晨 朱福珍③ 王曼威

(*哈爾濱工業(yè)大學(xué)電子與信息工程學(xué)院 哈爾濱 150001)

(**黑龍江大學(xué)電子工程學(xué)院 哈爾濱 150080)

遙感圖像復(fù)原是改善遙感圖像質(zhì)量的重要方法之一,廣泛應(yīng)用于民用、災(zāi)害監(jiān)測(cè)等領(lǐng)域。目前,圖像復(fù)原算法大多是基于模糊圖像的點(diǎn)擴(kuò)散函數(shù)(point spread function,PSF)和噪聲的類型已知的前提。但實(shí)際場(chǎng)景中,一般無(wú)法獲得具體降質(zhì)原因,因此,遙感圖像盲復(fù)原算法成為近年的研究熱點(diǎn)來(lái)解決模糊核估計(jì)不準(zhǔn)確、噪聲和偽影等問(wèn)題。

在圖像盲復(fù)原中,模糊核未知且不確定,代價(jià)函數(shù)對(duì)此敏感。通?？墒褂谜齽t化方法將不確定問(wèn)題變成確定問(wèn)題。兩種常用正則化技術(shù)的盲復(fù)原方法為Tikhonov 和全變分(total variation,TV)正則化。Chan 和Wong[1]利用TV 正則化模型添加先驗(yàn)信息到模糊圖像上最大限度地恢復(fù)退化模糊圖像[2-3]。Fegrus 等人[4]提出一種去除相機(jī)抖動(dòng)的方法,即利用圖像梯度分布來(lái)收斂最大后驗(yàn)概率(maximum a posteriori,MAP),估計(jì)模糊核與清晰圖像,但該算法引入了振鈴效應(yīng)。Shan 等人[5]改進(jìn)噪聲約束模型,解決了振鈴問(wèn)題,但存在誤差和細(xì)節(jié)丟失問(wèn)題。2008 年,Joshi 等人[6]利用高斯差分提取圖像的尖銳邊緣,通過(guò)多尺度方案來(lái)估計(jì)復(fù)雜模糊核。2010年,Xu 和Jia[7]利用顯著邊緣提取方法,迭代檢測(cè)以消除模糊核的噪聲,取得一定效果,但該算法未考慮模糊核連續(xù)性,導(dǎo)致圖像出現(xiàn)振鈴現(xiàn)象。2013 年,Pan 等人[8]指出不精確的模糊核估計(jì)導(dǎo)致不理想的復(fù)原結(jié)果。他們通過(guò)TV 模型獲取圖像結(jié)構(gòu),估計(jì)更理想的模糊核來(lái)保留邊緣信息,尤其適用于模糊核噪聲較大的圖像。2016 年,Liu 等人[9]發(fā)現(xiàn)模糊核對(duì)圖像金字塔的高級(jí)別定向梯度直方圖(histogram of oriented gradient,HOG)有顯著影響,但對(duì)粗級(jí)別影響較小,該文算法從自然清晰圖像學(xué)習(xí)通用金字塔HOG 模型,預(yù)測(cè)潛在清晰圖像,根據(jù)觀測(cè)與預(yù)測(cè)金字塔HOG 模型的差異預(yù)測(cè)空間核約束來(lái)準(zhǔn)確估計(jì)模糊核大小。Pan 等人[10]提出清晰圖像比模糊圖像具有稀疏的暗通道,將其用作圖像先驗(yàn),但在原始圖像的暗通道不稀疏且受噪聲影響時(shí)效果不佳。Yan 等人[11]提出極端通道先驗(yàn),將圖像的亮暗通道結(jié)合為約束圖像復(fù)原的先驗(yàn),提高了算法魯棒性。李響和何東鋼[12]利用極端先驗(yàn)解決了編碼曝光運(yùn)動(dòng)目標(biāo)模糊問(wèn)題。近年來(lái)還有其他先驗(yàn)約束被提出,如利用圖像塊的低秩特性[13]、基于顏色線模型[14]和塊先驗(yàn)[15]。2023 年,一種聯(lián)合正則化與低秩先驗(yàn)的自適應(yīng)迭代盲圖像復(fù)原的方法[16]被提出,同時(shí)聯(lián)合2 種先驗(yàn)?zāi)苡行コ齻斡疤岣吣：斯烙?jì)的準(zhǔn)確性,提升圖像復(fù)原質(zhì)量。

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域帶來(lái)的突破,許多基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原方法[17]相繼被提出,擺脫了對(duì)手工設(shè)計(jì)先驗(yàn)的依賴,通過(guò)有監(jiān)督或無(wú)/半監(jiān)督的學(xué)習(xí)方式來(lái)構(gòu)建網(wǎng)絡(luò)。近年來(lái)研究越來(lái)越關(guān)注在復(fù)原結(jié)構(gòu)中引入注意力機(jī)制[18]。其中Transformer[19]因其可以建模圖像的全局依賴關(guān)系而被遷移到圖像復(fù)原任務(wù)中并展現(xiàn)出巨大潛力,如Restormer[20]。然而這些算法需要大量樣本數(shù)據(jù),導(dǎo)致計(jì)算成本高且不同場(chǎng)景中圖像復(fù)原問(wèn)題存在較大特異性,限制了深度學(xué)習(xí)在圖像復(fù)原問(wèn)題上的應(yīng)用。

為了解決上述盲復(fù)原算法在復(fù)原圖像時(shí)的模糊核估計(jì)不準(zhǔn)確、復(fù)原圖像存在振鈴效應(yīng)等問(wèn)題,本文提出了一種改進(jìn)的局部最小像素先驗(yàn)遙感圖像盲復(fù)原算法。首先,基于局部最小像素先驗(yàn)與極端通道先驗(yàn)結(jié)合的盲去模糊算法交替迭代得到潛在清晰圖像和模糊核;其次,在圖像復(fù)原階段,針對(duì)原有的清晰圖像復(fù)原過(guò)程中產(chǎn)生的圖像振鈴效應(yīng),引入聯(lián)合雙邊濾波器來(lái)抑制振鈴,進(jìn)一步改善圖像復(fù)原質(zhì)量。

1 改進(jìn)的局部最小像素先驗(yàn)遙感圖像盲復(fù)原算法

將一個(gè)圖像I分為P個(gè)不重疊的圖像塊,大小為r×r,且,將圖像塊最小像素定義為

其中,Ωi表示第i個(gè)像素的位置的索引集,很容易得到逐塊(局部)最小像素。由于模糊過(guò)程對(duì)于圖像像素有平滑效果,局部最小像素在模糊過(guò)程后會(huì)增加。因此清晰圖像的局部最小像素比模糊圖像的局部最小像素稀疏。

Yan 等人[11]經(jīng)過(guò)多次實(shí)驗(yàn)發(fā)現(xiàn)模糊圖像和與之相對(duì)的清晰圖像的圖像塊中有顯著的亮像素點(diǎn),稱為像素極大點(diǎn)并將其定義為亮通道,其模型如式(2)所示。

式中,x是像素位置,Ic為I的顏色通道,Ω(x) 為中心在x的圖像塊。從式(2)可知,亮通道是求解的最終解。如果I是灰度圖像,則只執(zhí)行后一個(gè)操作。對(duì)比清晰與模糊圖像的亮通道,模糊圖像的亮通道像素點(diǎn)相比于清晰圖像多,而極端通道先驗(yàn)就是將暗通道與亮通道先驗(yàn)相結(jié)合,如式(3)所示。

其中,B(I) 表示圖像的亮通道,D(I) 為暗通道。

總之,模糊會(huì)導(dǎo)致像素平滑,局部最小像素增多。清晰圖像的局部最小像素更稀疏,以此為先驗(yàn)約束潛在清晰圖像的局部最小像素。然而,此方法在圖像中不包含零像素點(diǎn)時(shí)可能失效。局部最小像素先驗(yàn)?zāi)軌蚋旎謴?fù)圖像,而極限通道先驗(yàn)可以同時(shí)約束圖像的亮暗通道,因此本研究將它們結(jié)合,提高了模糊核的估計(jì)速度。具體改進(jìn)的局部最小像素先驗(yàn)遙感圖像盲復(fù)原算法框圖如圖1 所示。

圖1 改進(jìn)的局部最小像素先驗(yàn)遙感圖像盲復(fù)原算法框圖

1.1 改進(jìn)的潛在清晰圖像估計(jì)算法

為提高潛在清晰圖像的估計(jì)準(zhǔn)確性,本文結(jié)合局部最小像素先驗(yàn)和極限通道先驗(yàn)來(lái)約束潛在清晰圖像;局部最小像素先驗(yàn)可加速圖像恢復(fù),極限通道先驗(yàn)可同時(shí)約束圖像的亮暗通道元素,更好地約束潛在清晰圖像的估計(jì)。綜合這2 種先驗(yàn),可獲得更佳效果的潛在清晰圖像,有助于更準(zhǔn)確地迭代估計(jì)模糊核。局部最小像素先驗(yàn)的圖像盲復(fù)原模型為

式中,I、k、B分別代表清晰圖像、模糊核和模糊圖像;P(I) 為局部最小像素先驗(yàn);‖.‖0為L(zhǎng)0范數(shù);γ、μ、α為權(quán)重系數(shù);為數(shù)據(jù)擬合項(xiàng),即清晰圖像卷積模糊核后與模糊圖像的誤差。相對(duì)于采用半二次分裂算法[14],采用文獻(xiàn)[21]中更高效的算法來(lái)進(jìn)行求解。求解潛在清晰圖像公式為

式中,β＞0 是足夠大懲罰參數(shù),它強(qiáng)制‖?I-,因此G≈?I。

具體地,式(4)中約束實(shí)際上對(duì)I的局部最小像素施加了稀疏正則化,所以在迭代過(guò)程中使用了一個(gè)閾值收縮步驟來(lái)對(duì)I施加局部最小像素稀疏誘導(dǎo)。給定It,在潛在清晰圖像復(fù)原子問(wèn)題的t+1 次迭代中,用表示It的局部最小像素子集,迭代地對(duì)施加閾值,經(jīng)過(guò)以下步驟更新I和G。輸入:清晰圖像I的局部最小像素子集、圖像梯度?I的輔助變量G和閾值參數(shù)λ。

輸出:迭代后的中間潛在清晰圖像估計(jì)I和圖像梯度?I的輔助變量G。

步驟1令λ＞0 作為閾值參數(shù),局部最小像素的閾值為

步驟2讓?duì)竧+1,j表示It+1,j中局部最小像素的索引集,將與局部最小像素子集相對(duì)應(yīng)的子集定義為

步驟3通過(guò)式(9)更新It+1,j。

式中,PT是P的逆運(yùn)算。在式(9)中給定It+1,j,梯度子問(wèn)題求解如式(10),這是一個(gè)近似的極小化問(wèn)題,其解可由式(11)求得。

步驟4通過(guò)快速傅里葉變換(fast Fourier transform,FFT)來(lái)求解式(12),更新潛在清晰圖像:

式中,?=(?h,?v);G=(Gh,Gv)。

應(yīng)用極限通道先驗(yàn)的潛在清晰圖像復(fù)原算法求解I的模型為

式中,I、k、B分別代表清晰圖像、模糊核和模糊圖像;后兩項(xiàng)為圖像極端通道先驗(yàn);‖.‖0為L(zhǎng)0范數(shù);μ、λ、η為權(quán)重系數(shù);為數(shù)據(jù)擬合項(xiàng),即清晰圖像卷積模糊核后與模糊圖像的誤差。由于以上公式求解十分困難,所以采用半二次分裂算法求解,通過(guò)引入輔助變量,進(jìn)行快速傅里葉變換求解。

為了充分利用2 種約束在潛在清晰圖像估計(jì)中的優(yōu)點(diǎn),采用2 種約束復(fù)原的潛在清晰圖像取平均作為最終輸出,與模糊核交替迭代估計(jì),最終獲得理想的模糊核。圖2 是中間潛在清晰圖像結(jié)果對(duì)比,本文估計(jì)的中間圖像質(zhì)量更高,偽影更少,有助于模糊核的估計(jì)。

圖2 中間潛在清晰圖像結(jié)果對(duì)比

1.2 模糊核估計(jì)算法

模糊核的估計(jì)是通過(guò)估計(jì)出的潛在清晰圖像和輸入的模糊圖像之間的計(jì)算得出的。新估計(jì)的模糊核隨后與模糊圖像再次用于潛在清晰圖像的估計(jì),經(jīng)過(guò)多次迭代來(lái)獲得更為理想的模糊核。目前,已證明梯度基礎(chǔ)的模糊核估計(jì)方法[7,22]能夠提供更準(zhǔn)確的核估計(jì)。因此,本文采用梯度基礎(chǔ)的方法來(lái)估計(jì)模糊核,具體如式(14)所示。

其中,k可通過(guò)如下FFT 來(lái)求解:

式中,F(·) 與F-1(·) 表示傅里葉變換和逆變換;表示共軛運(yùn)算符。

在求解得到k之后,對(duì)k進(jìn)行歸一化,使其滿足對(duì)模糊內(nèi)核的定義。與現(xiàn)有模糊核估計(jì)的方法類似,使用圖像金字塔以粗到細(xì)的方式來(lái)估計(jì)[7]。每次最后更新的k將當(dāng)作下一次更新D的新模糊核的輸入。在進(jìn)行恰當(dāng)?shù)牡螖?shù)之后,將最終估計(jì)出的理想模糊核用于圖像非盲復(fù)原算法以得到清晰圖像。圖3 為本文算法估計(jì)出模糊核與原算法對(duì)比。

圖3 估計(jì)模糊核對(duì)比

1.3 聯(lián)合雙邊濾波器去振鈴

在處理復(fù)雜背景和紋理細(xì)節(jié)豐富的圖像時(shí),上述方法可能會(huì)導(dǎo)致一些紋理和細(xì)節(jié)的丟失。因此,當(dāng)獲得較為理想的模糊核后,本文引入聯(lián)合雙邊濾波器[23-25]來(lái)抑制振鈴偽影,平滑差圖像中的細(xì)節(jié),提取估計(jì)不準(zhǔn)確的虛假邊緣。對(duì)于圖像I中某一點(diǎn),其聯(lián)合雙邊濾波結(jié)果為

式中,f是高斯中心在p的空域?yàn)V波器,g是中心為p的值域?yàn)V波器,I為輸入圖像,D為引導(dǎo)圖像,Ω是f的空域范圍,q為Ω中的點(diǎn)。

聯(lián)合雙邊濾波器需要引入引導(dǎo)圖像,這使得其權(quán)值更加穩(wěn)定。因此,先輸入圖像,再對(duì)該輸入原圖像下采樣1/2 獲得低分辨率圖像,再將其2 倍上采樣獲得引導(dǎo)圖像。具體的聯(lián)合雙邊濾波器去振鈴算法實(shí)現(xiàn)過(guò)程如圖4 所示。

圖4 聯(lián)合雙邊濾波器去振鈴算法框圖

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本文所有的實(shí)驗(yàn)都是使用Matlab R2016b進(jìn)行測(cè)試,CPU 型號(hào)為Intel(R) Core(TM) i5-4210U CPU,頻率為2.40 GHz。本文對(duì)35 幀遙感圖像進(jìn)行裁切,獲取350 張256 ×256 大小的遙感圖像進(jìn)行測(cè)試。首先,采用局部最小像素先驗(yàn)與極端通道先驗(yàn)結(jié)合的方法進(jìn)行模糊核估計(jì),得到理想的模糊核;然后,引入聯(lián)合雙邊濾波器進(jìn)行清晰圖像復(fù)原算法獲得復(fù)原圖像。設(shè)置關(guān)于潛在清晰圖像的權(quán)重系數(shù)μ=0.004,α=2;局部最小像素的閾值參數(shù)最初設(shè)置λ=0.1;關(guān)于模糊核的權(quán)重系數(shù)γ=2;最大迭代次數(shù)為5。本文進(jìn)行了大量遙感圖像復(fù)原實(shí)驗(yàn),在此僅列出8 幅測(cè)試遙感圖像,如圖5 所示。

圖5 測(cè)試遙感圖像示例

2.2 實(shí)驗(yàn)結(jié)果與分析

本文分別采用文獻(xiàn)[10]方法、文獻(xiàn)[21]方法與本文算法進(jìn)行比較,篇幅所限在此僅列出4 組實(shí)驗(yàn)對(duì)比結(jié)果,如圖6～9 所示,其中,前4 個(gè)子圖是不同復(fù)原方法與本文方法的對(duì)比,后2 個(gè)子圖是文獻(xiàn)[21]與本文方法估計(jì)的模糊核的對(duì)比。

圖6 第1 組遙感圖像復(fù)原效果對(duì)比及估計(jì)的模糊核對(duì)比

圖7 第2 組遙感圖像復(fù)原效果對(duì)比及估計(jì)的模糊核對(duì)比

圖8 第3 組遙感圖像復(fù)原效果對(duì)比及估計(jì)的模糊核對(duì)比

從圖6 至圖9 可以看出,本文算法與文獻(xiàn)[10]算法和文獻(xiàn)[21]算法相比,復(fù)原圖像質(zhì)量更好,恢復(fù)的圖像邊緣清晰、偽影減少。

圖9 第4 組遙感圖像復(fù)原效果對(duì)比及估計(jì)的模糊核對(duì)比

除此之外,還對(duì)各個(gè)算法進(jìn)行了定量實(shí)驗(yàn),從客觀角度分析各個(gè)算法的優(yōu)劣。E作為無(wú)參考評(píng)價(jià)指標(biāo),從信息論的角度衡量圖像信息豐富程度。一般來(lái)說(shuō),E的值越大信息量就越豐富,質(zhì)量越好。本文選擇E作為評(píng)價(jià)圖像復(fù)原后信息豐富程度的評(píng)價(jià)指標(biāo),其定義如式(17)所示。

式中,P(i) 為灰度值i出現(xiàn)概率,L為灰度級(jí)。本文定量分析結(jié)果如表1 所示。

表1 8 組測(cè)試遙感圖像的信息熵?cái)?shù)據(jù)對(duì)比

由表1 可以看出,本文改進(jìn)的算法信息熵?cái)?shù)值更大,因此,圖像復(fù)原質(zhì)量?jī)?yōu)于其他算法。

為了進(jìn)一步驗(yàn)證本文算法的有效性,客觀且直觀地對(duì)算法進(jìn)行評(píng)價(jià),本文進(jìn)一步選擇峰值信噪比(peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似度(structural similarity,SSIM)作為圖像質(zhì)量的評(píng)價(jià)指標(biāo)。同樣地,PSNR 和SSIM 的數(shù)值通常越大越好,其定義分別如式(18)和(19)所示。

式中I(i,j) 為原圖像,K(i,j) 為復(fù)原后的圖像,m和n分別為圖像的行數(shù)和列數(shù),μx和μy為均值,σx和σy為方差,σxy為協(xié)方差。

同時(shí),為了獲取便于驗(yàn)證算法結(jié)果的模糊遙感圖像,本文依次對(duì)清晰的遙感圖像采用如下處理:添加長(zhǎng)度10、角度20 的運(yùn)動(dòng)模糊,模板為5 的高斯模糊,散焦半徑為3 的散焦模糊。圖10 為合成的模糊遙感圖像復(fù)原效果及模糊核的比較。選取其中8 組圖像進(jìn)行測(cè)試,測(cè)試的實(shí)驗(yàn)統(tǒng)計(jì)數(shù)據(jù)對(duì)比結(jié)果如表2和圖11 所示。由圖10 可以看出,本文改進(jìn)的算法對(duì)添加合成模糊的遙感圖像復(fù)原效果較好,振鈴和偽影均得到抑制。且本文改進(jìn)的算法估計(jì)的模糊核較為理想,更接近于長(zhǎng)度為10、角度為20 的運(yùn)動(dòng)模糊核。

表2 8 組測(cè)試遙感圖像復(fù)原結(jié)果數(shù)據(jù)對(duì)比

圖10 合成模糊遙感圖像復(fù)原效果對(duì)比

圖11 測(cè)試合成模糊圖像復(fù)原結(jié)果PSNR(dB)和SSIM 數(shù)據(jù)對(duì)比折線圖

由表3 可得,本文改進(jìn)算法在客觀評(píng)價(jià)指標(biāo)上其PSNR 平均提高約1.40 dB,SSIM 平均提高約0.02。由圖11 的折線圖可以更加直觀地看出改進(jìn)算法的客觀評(píng)價(jià)指標(biāo)相較于原算法有很大的提升,所以改進(jìn)算法更有效。

3 結(jié)論

本文提出一種改進(jìn)的基于局部最小像素先驗(yàn)的遙感圖像盲復(fù)原算法。首先,在模糊核估計(jì)階段,一方面采用改進(jìn)的局部最小像素算法,即將局部最小像素先驗(yàn)與極端通道先驗(yàn)進(jìn)行結(jié)合估計(jì)出潛在清晰圖像,使估計(jì)的潛在清晰圖像更準(zhǔn)確利于模糊核的估計(jì);另一方面利用基于梯度正則化估計(jì)模糊核。潛在清晰圖像與模糊核交替迭代估計(jì),得到較為理想的模糊核。其次,圖像復(fù)原階段,輸入得到的模糊核,為抑制圖像復(fù)原產(chǎn)生的振鈴效應(yīng),引入聯(lián)合雙邊濾波器,最終復(fù)原的圖像效果更好,振鈴偽影較少。實(shí)驗(yàn)結(jié)果表明,本文方法在客觀評(píng)價(jià)指標(biāo)上其PSNR平均提高約1.40 dB,SSIM 平均提高約0.02,信息熵E更大,從而驗(yàn)證了本文改進(jìn)算法的有效性。