基于成像機(jī)理分析的圖像混疊去除

張 曄,魏 然

(哈爾濱工業(yè)大學(xué)電子與信息工程學(xué)院,黑龍江哈爾濱150001)

基于成像機(jī)理分析的圖像混疊去除

張 曄,魏 然

(哈爾濱工業(yè)大學(xué)電子與信息工程學(xué)院,黑龍江哈爾濱150001)

去混疊技術(shù)是圖像處理領(lǐng)域重要的方法之一。目前的去混疊算法多數(shù)都是在空間域進(jìn)行的,因此它們都忽略了這樣一個(gè)事實(shí),即圖像的頻域成分混合是產(chǎn)生混疊的根本原因,而其在空間域所造成的視覺(jué)失真,僅是一種表現(xiàn)。基于此,提出了一種基于成像機(jī)理分析的去混疊算法,改變了現(xiàn)有算法僅從空間域角度解決混疊的現(xiàn)狀。該方法在從成像機(jī)理角度分析混疊產(chǎn)生原因的基礎(chǔ)上,利用分形技術(shù)對(duì)圖像所丟失的高頻信息進(jìn)行了補(bǔ)償,從而實(shí)現(xiàn)混疊去除。實(shí)驗(yàn)結(jié)果表明,算法不僅能夠在空間域上消除混疊給視覺(jué)帶來(lái)的影響,而且能夠在頻域上,更多的恢復(fù)高頻成分的信息。

抗混疊;外插;分形技術(shù);成像機(jī)理

0 引 言

人們獲取圖像的一個(gè)基本目的,就是從圖像中解讀出有意義的信息。如從遙感圖像中,確定出地表物質(zhì)類(lèi)別及屬性[1],從醫(yī)學(xué)圖像中解讀出人體組織及病理方面的信息[2]或從天文學(xué)圖像中,分析天體的物理參數(shù)等[3]。無(wú)疑,這些需求對(duì)圖像本身的質(zhì)量,即圖像反映原始場(chǎng)景的能力,提出了較高的要求。但不幸的是,由于物體運(yùn)動(dòng),成像平臺(tái)本身的不穩(wěn)定,成像傳感器內(nèi)部熱噪聲等負(fù)面因素的影響,一個(gè)成像系統(tǒng)針對(duì)某一場(chǎng)景所成的圖像通常不能完全還原場(chǎng)景信息,即圖像總存在一定程度的退化,這種退化如不恰當(dāng)?shù)奶幚砘蛳?會(huì)嚴(yán)重影響后續(xù)的情報(bào)解讀和分析工作。本文將重點(diǎn)考慮傳感器成像系統(tǒng)中的電子器件,即電耦合器件(charge coupled device,CCD),給圖像造成的信息損失及恢復(fù)問(wèn)題。

從原理上來(lái)說(shuō),CCD造成負(fù)面影響主要有兩個(gè):第一是由于CCD本身的離散性,造成圖像分辨率相對(duì)于場(chǎng)景分辨率的降低;第二是在CCD的抽樣過(guò)程中,給圖像造成的折線效應(yīng)和鋸齒效應(yīng)。因此,消除CCD所造成的失真實(shí)際上要完成兩個(gè)工作:第一是提高圖像分辨率,即超分辨或分辨率增強(qiáng);第二是補(bǔ)償在下采樣過(guò)程中,造成的高頻信息損失。解決這一問(wèn)題的一類(lèi)方法,稱為抗混疊或去混疊。

現(xiàn)有的抗混疊方法,大致可以分為3類(lèi)。第一類(lèi)是借助多源信息或多場(chǎng)景信息,利用這些圖像或平臺(tái)之間的互補(bǔ)性,對(duì)單幅圖像進(jìn)行抗混疊補(bǔ)償。這類(lèi)方法在序列圖像中[45]應(yīng)用的較為廣泛。但這種方法的前提是必須有條件獲取同一場(chǎng)景的多幅圖像,如圖像序列或多平臺(tái)傳感器的情況。而本文所研究的問(wèn)題,是一個(gè)單幅圖像抗混疊超分辨增強(qiáng)的算法,故此類(lèi)方法并不適用。

第二類(lèi)方法則可視為一種前端處理法。這類(lèi)方法主要是改進(jìn)傳統(tǒng)成像系統(tǒng)的采樣方式,使新的采樣系統(tǒng)具有抗混疊的效果。如文獻(xiàn)[6-7]在詳細(xì)的分析了下采樣圖像在頻率方面的特性后,分別針對(duì)灰度和彩色圖像提出了一種抗混疊采樣方案——DSD-FA和DDSD-FA。文獻(xiàn)[8]則通過(guò)設(shè)計(jì)一種新型頻譜保持窗,實(shí)現(xiàn)了在采樣過(guò)程中,對(duì)圖像高頻信息的保護(hù)。這類(lèi)針對(duì)傳統(tǒng)的模型進(jìn)行重設(shè)計(jì)的方法,雖然取得了較好的效果,但在實(shí)際中,往往無(wú)法得到有效的應(yīng)用。因?yàn)閷?duì)現(xiàn)有的經(jīng)典成像模型進(jìn)行大規(guī)模的重構(gòu),顯然不符合實(shí)際。

第三類(lèi)方法則是基于插值技術(shù)進(jìn)行的。這類(lèi)方法主要是針對(duì)經(jīng)典插值方法,如針對(duì)雙線性和雙二次三項(xiàng)式插值的不足而設(shè)計(jì)的一些具有抗混疊效應(yīng)的插值。文獻(xiàn)[9]利用高分辨率和低分辨率圖像的對(duì)偶性,提出了一種基于協(xié)方差信息的插值算法,有效地減小了圖像的混疊。文獻(xiàn)[10]首先利用傳統(tǒng)的方法,如雙線性插值,雙三次插值,對(duì)失去的信息進(jìn)行預(yù)測(cè),然后利用圖像的一階和二階統(tǒng)計(jì)信息,對(duì)預(yù)測(cè)結(jié)果進(jìn)行修正,從而得到無(wú)混疊失真的高分辨率圖像。文獻(xiàn)[11]提出了一種二維自適應(yīng)回歸模型,并引入軟決策技術(shù),實(shí)現(xiàn)了抗混疊插值,增強(qiáng)了圖像的分辨率。

第三類(lèi)方法之所以能取得一定效果,主要原因在于他們利用了圖像的空間相關(guān)性,從圖像的其他區(qū)域中選取了恰當(dāng)?shù)男畔?對(duì)在成像中丟失的信息進(jìn)行了補(bǔ)償。而基于數(shù)學(xué)上分形技術(shù)的圖像處理方法,也是利用了圖像內(nèi)部所存在的自相似性,因此在圖像壓縮中得到了廣泛的應(yīng)用。分形方法同樣適用于超分辨問(wèn)題[12],這主要得益于分形碼流與分辨率無(wú)關(guān)的性質(zhì)。

基于插值技術(shù)的方法,雖然也能取得一些令人滿意的結(jié)果和性能,但也應(yīng)該看到,這類(lèi)方法仍然存在著一定的局限性。這類(lèi)方法的主要問(wèn)題是,沒(méi)有從頻域角度考慮混疊造成的原因。從原理上說(shuō),混疊這種失真,雖然其效果往往表現(xiàn)在空間域中,即通常表現(xiàn)為折線效應(yīng)和鋸齒效應(yīng),但造成混疊的根本原因,是由于圖像高頻信息的混疊?；殳B本身又是CCD在空間尺寸上的有限性的結(jié)果,因此是不可避免的?，F(xiàn)有方法多集中在空間域消除混疊,而忽略了頻域上更為本質(zhì)的失真,本文將針對(duì)上述不足,提出一種基于頻域外推的去混疊方法。

1 圖像混疊機(jī)理分析

本節(jié)將從分析圖像成像角度出發(fā),在分析成像物理模型的基礎(chǔ)上,給出傳感器電子設(shè)備的信號(hào)模型,并對(duì)圖像混疊的原因和結(jié)果進(jìn)行量化分析,給出信號(hào)混疊的解析表達(dá)式,并對(duì)其所蘊(yùn)含的物理意義進(jìn)行解釋。

1.1 成像鏈路及成像物理模型

成像鏈路是一個(gè)將地面場(chǎng)景及其對(duì)應(yīng)物質(zhì)的物理、化學(xué)等屬性信息,轉(zhuǎn)化為二維數(shù)字信號(hào)的能量轉(zhuǎn)換和傳遞系統(tǒng)。該鏈路的起點(diǎn)是太陽(yáng)所發(fā)出的電磁波的輻射能,該能量以流的方式入射到地球表面上方后,經(jīng)過(guò)大氣作用,與地表目標(biāo)和物質(zhì)發(fā)生反射作用,最終傳到傳感器前端,并經(jīng)過(guò)傳感器內(nèi)部的成像過(guò)程,最終形成數(shù)字圖像輸出。該過(guò)程的示意圖如圖1所示。

圖1 圖像成像鏈路模型

在一切圖像退化條件都不存在的理想情況下,一個(gè)成像鏈路會(huì)輸出“理想圖像”,即所得的圖像是無(wú)失真的。但由于實(shí)際成像過(guò)程中,總存在大氣擾動(dòng),傳感器平臺(tái)的振動(dòng)、傳感器內(nèi)部器件失真等因素的干擾,因此最終得到的圖像往往是退化的,即地面場(chǎng)景轉(zhuǎn)化為數(shù)字信號(hào)的“成像鏈路”是一個(gè)信息退化過(guò)程。

不同因素對(duì)圖像退化的結(jié)果也不一樣,如大氣的擾動(dòng),往往造成圖像扭曲;傳感器平臺(tái)本身的不穩(wěn)定,則會(huì)造成圖像出現(xiàn)運(yùn)動(dòng)模糊;而本文所研究的混疊,則是由于圖像傳感器中電子器件積分及下采樣作用造成的,這種效應(yīng),不僅能夠造成圖像分辨率的下降,還會(huì)造成圖像在高頻成分上的混疊。

從物理上看,CCD由半導(dǎo)體及光敏器件構(gòu)成,其作用是將光能量轉(zhuǎn)化為電能。從信號(hào)角度來(lái)看,如果忽略能量在形式上的變化(即從光子變?yōu)殡娮?,則CCD是一個(gè)具有一定傳遞函數(shù)的系統(tǒng),且該傳遞函數(shù)與CCD物理尺寸等屬性相關(guān)。CCD的概念圖如圖2所示。圖中的陰影部分表示CCD傳感器的換能單元(energy transfer unit,ETU),其傳遞函數(shù)為

其中,rect(x,y)為矩形函數(shù):

Tv為參數(shù),其定義如圖2所示。

圖2 CCD概念圖

1.2 CCD器件信號(hào)模型

式(1)所示的表達(dá)式不能直接反映信號(hào)的損失,為此還需一個(gè)表達(dá)傳感器CCD器件的信號(hào)模型。下面將從能量角度推導(dǎo)該模型。

首先定義如下傅里葉變換對(duì):式中,s(x,y)為入射到CCD表面輻射能量,該能量由地面場(chǎng)景反射太陽(yáng)能后,再經(jīng)過(guò)傳感器透鏡作用得到。鑒于式(1)具有傳遞函數(shù)的意義,因此可以認(rèn)為CCD器件輸出為

而從頻域能量角度來(lái)看,s(x,y)和hoTev(x,y)分別可用下列兩個(gè)式子表示:

將式(4)的右側(cè)用式(5)和式(6)替換,可以得到

對(duì)上式進(jìn)行如下變量代換:

于是,式(7)的第一個(gè)積分項(xiàng)可變?yōu)?/p>

式中

為傅里葉變換基函數(shù)。類(lèi)似地,式(7)的第二個(gè)積分項(xiàng)可變?yōu)?/p>

1.3 混疊現(xiàn)象的頻域本質(zhì)

有了式(14)即可分析地面能量分布在經(jīng)過(guò)CCD作用后信號(hào)的損失情況。CCD的信號(hào)模型主要由兩部分構(gòu)成:第一是二重求和運(yùn)算,求和對(duì)象是S(wx,wy)的平移;第二個(gè)是S(wx,wy)平移項(xiàng)的因子cm,n的乘積。因此,對(duì)應(yīng)到CCD對(duì)二維信號(hào)的退化作用,也表現(xiàn)在兩個(gè)方面:一個(gè)是由求和操作造成的,其本質(zhì)是由于“求和”是一個(gè)“多對(duì)一”的映射關(guān)系,故在這個(gè)過(guò)程中,多路信息會(huì)僅以一個(gè)輸出來(lái)表現(xiàn);另一個(gè)則是系數(shù)cm,n對(duì)原始頻譜的一個(gè)衰減。

首先假設(shè)cm,n=1,這種情況實(shí)際上是假定了CCD的ETU單元的響應(yīng)為理想的抽樣函數(shù),而非實(shí)際的矩形函數(shù)。即使在這種“半理想”情況下,CCD的抽樣作用仍有可能給圖像能量分布造成混疊。而是否會(huì)發(fā)生混疊,取決于抽樣信號(hào)頻率wxs,wys及圖像能量分布的最高截止頻率wxm,wym之間的關(guān)系:當(dāng)wxs≥2wxm,wys≥2wym,時(shí),不存在能量的混疊。但當(dāng)上述條件無(wú)法滿足時(shí),混疊就是不可避免的了。對(duì)更為實(shí)際的cm,n≠1時(shí),在這種情況下,圖像能量將會(huì)被進(jìn)一步的混疊,信號(hào)能量進(jìn)一步失真。由式(13)不難看出,這種信息退化的程度,與τx和τy有關(guān)。較大的τx和τy對(duì)圖像的影響也較大,因?yàn)橛捎赾m,n的引入所造成的曲線的包絡(luò)線與τx, τy成反比,當(dāng)τx=0或τy=0時(shí),整個(gè)包絡(luò)曲線就退化為一個(gè)點(diǎn)或者沖激函數(shù)。

為了進(jìn)一步說(shuō)明CCD對(duì)圖像的退化作用,圖3示意性地給出了上述幾種退化場(chǎng)景的一維簡(jiǎn)化表示。圖3(a)給出的是一組圖像的傅里葉變換示意圖,為說(shuō)明頻域混疊與否與圖像本身所具有的頻率之間的關(guān)系,僅取二維傅里葉變換結(jié)果的一個(gè)剖面。圖3(b)給出的是沒(méi)有混疊的情形,從中可以看出,在CCD的作用下,原始圖像信號(hào)的頻譜被以ws為周期,進(jìn)行了譜移和疊加,且譜移的大小為ws。在2wm),原始圖像的譜,不存在任何被混合或削弱的情況。但對(duì)于圖3(c)這種情況,由于上述條件得不到滿足,故圖像頻譜的高頻分量會(huì)被搬移后的譜成分所混疊,混疊的區(qū)域?yàn)閳D3(c)的陰影部分。同理,在考慮到CCD的ETU單元尺寸因素后,圖3(c)將會(huì)進(jìn)一步退化成圖3(d)的情況,在這時(shí),甚至連原始信號(hào)頻譜本身的幅度都會(huì)以cm,n所表達(dá)的包絡(luò)曲線衰減。隨著τ的增加,cm,n的第一零點(diǎn)位置逐漸向右移動(dòng),故它對(duì)高頻信號(hào)的衰減的影響是逐漸減輕的,當(dāng)τ→0,包絡(luò)曲線逐漸成為一條理想的直線。

圖3 CCD器件對(duì)圖像能量的退化作用示意圖

2 分型變換的理論基礎(chǔ)

2.1 理論基礎(chǔ)

為分析本文所提出算法的合理性,首先給出這一算法的數(shù)學(xué)理論基礎(chǔ)。本文所提出的算法,主要有兩大理論基礎(chǔ),一是壓縮映射原理(contraction mapping principle,CMP),另一個(gè)是Collage原理。CMP保證了分形頻域擴(kuò)展解碼算法的收斂性及解碼效果與初始值無(wú)關(guān)。Collage原理則指出,解碼的誤差與所選用的壓縮變換的壓縮系數(shù)和最優(yōu)仿射變換的殘差大小有關(guān)。其中,后一個(gè)因素也是本文算法能夠提升效果的關(guān)鍵。

定理1 壓縮映射原理[13]

設(shè)(X,d)為一個(gè)測(cè)度空間,f:X→X為該空間上的一個(gè)壓縮映射,則以任意x0∈X為初始值,按如下方式進(jìn)行迭代:

f均可收斂到其唯一的不動(dòng)點(diǎn)x-f。

上面這個(gè)定理的意義在于,只要可以在賦范空間X上找到一種壓縮映射f,則該映射的不動(dòng)點(diǎn)的全部信息,都可以用f來(lái)表示。在壓縮中,如果令其不動(dòng)點(diǎn)x-f取為原圖像,則f即可被認(rèn)為是原圖像的壓縮碼流,因?yàn)镃MP保證,利用f的信息完全可以解碼原圖像。

理論上講,壓縮編碼的產(chǎn)生過(guò)程轉(zhuǎn)化為了一個(gè)尋求最優(yōu)的壓縮映射f的過(guò)程。即找到一個(gè)最佳的f^,使其對(duì)應(yīng)的不動(dòng)點(diǎn)xf^與真實(shí)圖像x之間的誤差小于某一個(gè)設(shè)定值ε。即d(x f^

,x)＜ε(16)

不過(guò),這個(gè)過(guò)程在數(shù)學(xué)上非常復(fù)雜,因此,人們往往尋求一個(gè)弱化解,Collage定理則為尋求這樣一個(gè)解提供了理論支持。

定理2 Collage定理[13]

設(shè){X;wn,n=1,2,…,N}為賦范空間X上的一個(gè)迭代函系統(tǒng)(iterative function system,IFS)其中wn(n=1,2,…,N)為一組壓縮映射算子,其對(duì)應(yīng)的壓縮系數(shù)為Cn(n= 1,2,…,N)則存在一組映射W:H(X)→H(X),和集合A∈H(X),使得

式中,H(X)為X上所有的非空緊集;A-w為映射W的不動(dòng)點(diǎn)。而c為IFS的壓縮系數(shù):

h(S1,S2)為兩個(gè)集合之間的Hausdorff距離,定義如下:

式中,ε＞0為滿足下列式子的任意小值。

有了上述定理,則尋求式(17)的過(guò)程,就轉(zhuǎn)化為求解相對(duì)較容易的式(18)的過(guò)程。

2.2 算法問(wèn)題及適用性分析

將上述理論應(yīng)用于圖像處理,其產(chǎn)物即是經(jīng)典的分形編碼算法理論。文獻(xiàn)[14]在1992年首度提出該理論,并因?yàn)槠漭^高的壓縮率和較好的恢復(fù)質(zhì)量,在此之后,得到了進(jìn)一步的發(fā)展。一些學(xué)者注意到了分形方法的一些性質(zhì),并將其用于其他領(lǐng)域,如圖像去噪[15],分辨率增強(qiáng)等[19]。

這些將其用于圖像分辨率增強(qiáng)的學(xué)者,主要是注意到了分形編碼本身所具有的如下幾個(gè)特點(diǎn)。

(1)與分辨率無(wú)關(guān)

由壓縮映射原理可以看出,式(15)收斂的唯一條件就是f是壓縮映射,因此,一旦根據(jù)式(18)找到了這樣一組最優(yōu)的f,在其解碼階段,使用這個(gè)最優(yōu)的映射,對(duì)任意初始值和分辨率的圖像都能夠得到一組穩(wěn)定的收斂結(jié)果,即不動(dòng)點(diǎn),且該穩(wěn)定結(jié)果的分辨率與初始圖像大小一致。

(2)自相似-自仿射性

Collage定理的意義是,最終的解碼誤差,即真實(shí)圖像最優(yōu)映射之間不動(dòng)點(diǎn)之間的Hausdorff距離,以最優(yōu)映射對(duì)圖像進(jìn)行仿射變換時(shí),所產(chǎn)生的殘差為上限。因此,空間相似性較高的一些圖形,往往會(huì)產(chǎn)生較好的解碼結(jié)果。

上述一些分形編碼及其改進(jìn),正是利用了第二個(gè)特點(diǎn)。但這些方法,多數(shù)是基于圖像空間域進(jìn)行的[1618]。少量的文獻(xiàn)提到了將其用于變換域,但也都未提及圖像的傅里葉頻域。如文獻(xiàn)[12]和文獻(xiàn)[19]分別提出了一種在DCT變換域和小波變換域進(jìn)行分形解碼,并超分辨的一種算法,但正如第1節(jié)分析的那樣,真正產(chǎn)生混疊的空間,在圖像的傅里葉域,且由于圖像本身是一種實(shí)二維信號(hào),因此,其對(duì)應(yīng)的幅度譜是偶函數(shù),相位譜是奇函數(shù)[20],無(wú)疑,這本身即是一種自相似性,因此,在傅里葉域基于分形技術(shù)進(jìn)行超分辨,會(huì)取得較好的效果。根據(jù)以上分析,本文提出了如下的算法。

3 基于分形變換的頻域外推超分辨

本文所提出的算法,主要分3個(gè)階段:第一步是預(yù)處理階段,主要是對(duì)圖像進(jìn)行傅里葉變換,并分塊;第二步是在圖像傅里葉變換域,通過(guò)一個(gè)最優(yōu)化過(guò)程,尋找最優(yōu)的變換參數(shù),并利用最小二乘求解;第三步是利用分形技術(shù)在分辨率下的不變性,實(shí)現(xiàn)圖像的抗混疊超分辨增強(qiáng)。整個(gè)系統(tǒng)實(shí)施方案如圖4所示。

圖4 去混疊最優(yōu)參數(shù)獲取框圖

3.1 預(yù)處理階段

在預(yù)處理階段,去混疊系統(tǒng)主要完成如下兩個(gè)工作。第一是對(duì)原圖進(jìn)行傅里葉變換,將其映射到頻率域,即混疊真正產(chǎn)生的空間域。二維傅里葉變換的定義如下:

式中,為I(x,y)的圖像信號(hào)。

第二是對(duì)傅里葉頻譜圖像I(wx,wy)進(jìn)行分塊,并分別按非覆蓋方式產(chǎn)生Range塊(R塊)和覆蓋方式產(chǎn)生Domain塊(D塊)。其中,所有的D塊還將被輸入到Domain庫(kù),在后續(xù)的最優(yōu)參數(shù)獲取階段,用于搜索和計(jì)算最優(yōu)變換參數(shù)。而R塊則輸入到系統(tǒng)的下一級(jí)。

3.2 利用最小二乘法則獲取最優(yōu)變換參數(shù)

這一階段是整個(gè)算法的核心。系統(tǒng)將從Domain庫(kù)中為每一個(gè)Ri(i=1,2,…,NR),找到一個(gè)最優(yōu)的變換參數(shù),使如下代價(jià)函數(shù)最小化:

式中

F為低通濾波器,一般取為均值濾波

式中,NF=RF×CF為濾波矩陣元素個(gè)數(shù)。這里由于D塊與R塊大小存在一個(gè)2∶1的關(guān)系,故將RF和CF都取為2。

Image aliasing-removing based on imaging-mechanism analysis

ZHANG Ye,WEI Ran
(School of Electronics and Information Engineering,Harbin Institute of Technology,Harbin 150001,China)

Aliasing-removing technique is one of the most important methods in the field of image processing.Almost every existing aliasing-removing algorithm is spatial-domain based,neglecting the fact that aliasing is naturally frequency-component mixing at frequency domain,and the undesirable visual effect of aliasing is just a phenomenon in spatial-domain.Inspired by such fact,in this paper,a novel imaging imaging-mechanism analysis based aliasing-removing algorithm is proposed,breaking through the limitation of existing methods that reduce aliasing in spatial domain.Based on the analysis of the cause for aliasing in view of sensor imaging process, fractal technique is introduced so as to compensate for the missing high-frequency component,and thus accomplish aliasing-removing.The experiment results show that the proposed method can not only remove visual artifacts in spatial domain,brought by aliasing,but also recover more high-frequency component information in frequency domain.

aliasing removing;extrapolation;fractal;imaging mechanism

TN 919.81

A

10.3969/j.issn.1001-506X.2015.03.32

網(wǎng)址:www.sys-ele.com

1001-506X(2015)03-0679-09

2014 01 06;

2014 04 02;網(wǎng)絡(luò)優(yōu)先出版日期:2014 11 05。

網(wǎng)絡(luò)優(yōu)先出版地址:http:∥w ww.cnki.net/kcms/detail/11.2422.TN.20141105.1633.017.html

國(guó)家自然科學(xué)基金(61471148)資助課題