復(fù)雜條件下天空?qǐng)D像的增強(qiáng)

聶愷，何秋生

(太原科技大學(xué)電子信息工程學(xué)院，太原 030024）

復(fù)雜條件下天空?qǐng)D像的增強(qiáng)

聶愷，何秋生

(太原科技大學(xué)電子信息工程學(xué)院，太原 030024）

設(shè)計(jì)了一種在復(fù)雜天氣條件下對(duì)天空?qǐng)D像的增強(qiáng)方法。針對(duì)圖像噪聲對(duì)增強(qiáng)效果的影響，我們利用熱核方法對(duì)圖像進(jìn)行降噪處理。為了利用熱核方法對(duì)圖像降噪，我們使用無向加權(quán)圖來表示文中的像素點(diǎn)陣圖，由熱方程捕獲加權(quán)圖的各向異性擴(kuò)散，以此保留圖像的最大結(jié)構(gòu)信息;我們通過自適應(yīng)子塊局部方差法對(duì)平滑過的圖像進(jìn)行增強(qiáng)，結(jié)果表明，這種方法可以有效的增強(qiáng)圖像效果，對(duì)后續(xù)的分割等操作提供有利的條件。

齒形軸類件;冷體積成形;塑性成形;成形裝備

當(dāng)對(duì)天空中目標(biāo)進(jìn)行跟蹤，尤其是以太陽為目標(biāo)時(shí)，在對(duì)以天空為背景的圖像不斷采樣的過程中，由于大氣結(jié)構(gòu)存在規(guī)律性弱，難以預(yù)測(cè)，擾動(dòng)強(qiáng)烈的因素，給獲得的圖像造成了諸多影響。其中噪聲的增加與圖像信息的退化等問題會(huì)對(duì)圖像分割，特征提取，圖像識(shí)別等后續(xù)處理帶來很多的困難。進(jìn)幾年來，隨著計(jì)算機(jī)技術(shù)的增強(qiáng)，研究人員對(duì)相關(guān)問題進(jìn)行了更深入的研究［1-7］。

為了在增強(qiáng)圖像的同時(shí)排除噪聲的影響，常對(duì)圖像先采用低通濾波處理，最常用的是高斯濾波，這種方法能夠有效的消除圖像中的噪聲問題，但不可避免的會(huì)對(duì)圖像細(xì)節(jié)造成影響。Perona與Malik在文獻(xiàn)［8］中提出了P-M方法來濾除噪聲平滑圖像，保留圖像的邊緣信息。Catte等人在文獻(xiàn)［9］中對(duì)P-M方法提出一種改進(jìn)方案，之后又出現(xiàn)了基于偏微分方程擴(kuò)散的多值圖像平滑［10］。隨著多學(xué)科的融合，發(fā)現(xiàn)圖像的擴(kuò)散過程可以通過熱方程來獲得，文獻(xiàn)［10］中利用熱方程的解——熱核，有效的辨識(shí)出了圖像的邊緣信息，在平滑過程中對(duì)邊緣進(jìn)行了保護(hù)。近期也有一些文章對(duì)熱核方法做了相應(yīng)的研究與應(yīng)用［11-14］。

對(duì)于圖像的增強(qiáng)，常用全局直方圖均衡化算法，其計(jì)算簡(jiǎn)單，但難以反映局部變化。文獻(xiàn)［15］中采用的同態(tài)濾波算法可以有效的處理光照不均造成的暗影問題，不過計(jì)算量較大。文獻(xiàn)［16］中采用了局部直方圖算法，有效對(duì)局部圖像進(jìn)行了增強(qiáng)。文獻(xiàn)［17］利用了局部對(duì)比度增強(qiáng)的方法，它使得局部的圖像細(xì)節(jié)得到了有效的增強(qiáng)，但無法優(yōu)化圖像的動(dòng)態(tài)范圍。文獻(xiàn)［18］采用了局部方差法來增強(qiáng)圖像，其算法簡(jiǎn)單，對(duì)圖像細(xì)節(jié)進(jìn)行了有效的保留與增強(qiáng)。

我們針對(duì)復(fù)雜多變的氣候條件，如變化的云層，霧霾，揚(yáng)沙等，對(duì)以太陽為目標(biāo)的天空?qǐng)D像造成的照度不均，細(xì)節(jié)退化，噪點(diǎn)增加等問題，利用熱核算法平滑圖像，同時(shí)保持圖像結(jié)構(gòu)完整，隨后針對(duì)圖像細(xì)節(jié)的退化問題，結(jié)合局部方差法，對(duì)圖像的進(jìn)行增強(qiáng)，給后續(xù)的圖像處理提供有利條件。

1 圖像平滑

1.1 P-M方法

對(duì)于一張存在噪聲的圖像G(x)∶Ω?R2→R，圖像的整體擴(kuò)散方程如下:

其中▽為梯度算子，div為散度算子，D為描述在各個(gè)方向上擴(kuò)散比率的擴(kuò)散率，如果圖像的擴(kuò)散過程是各向同性的，那么D則是一個(gè)常數(shù)，且對(duì)所有方向上的▽u有D=1，因此上述方程將變?yōu)?

其中△為拉普拉斯算子。

假設(shè)D=g(‖▽u‖)，可以得到各向異性擴(kuò)散方程:

可以看出圖像的梯度幅值有效的控制了擴(kuò)散系數(shù)D.對(duì)于g(‖▽u‖)Perona和Malik給出了兩種比較經(jīng)典的選擇:

其中k是梯度閾值，式(4)對(duì)高對(duì)比度圖像更為有利，而式(5)更適合處理低對(duì)比度圖像?？梢钥闯?，這種方法比高斯模糊更有利，它可以有效保護(hù)邊界的銳度與位置。不過閾值k的選取存在一定的難度，不能良好的區(qū)分邊緣點(diǎn)與噪聲點(diǎn)。

1.2 熱核平滑

為了能夠獲得圖像的熱信息，我們使用無自循環(huán)的無向加權(quán)圖G=(V，E)來表示灰階圖像和彩色圖像，其中V={1，…，N}(N=m×n為圖像所有像素的個(gè)數(shù))為圖像的點(diǎn)集合，E?V×V表示圖像的邊緣集合。如果在對(duì)應(yīng)位置的一對(duì)像素滿足在像素點(diǎn)陣上的連通性要求，那么我們就可以認(rèn)為這條邊緣eij∈E存在，邊緣eij的權(quán)重用w(i，j)來表示，邊緣的權(quán)重用來體現(xiàn)熱流動(dòng)通過圖像時(shí)對(duì)它的限制。如果邊緣權(quán)重w(i，j)的值比較大，那么就意味著熱量可以輕松的從點(diǎn)vi流動(dòng)到點(diǎn)vj，相反，如果w(i，j)的值比較小，那么熱量要從點(diǎn)vi流動(dòng)到點(diǎn)vj就要相對(duì)困難，而當(dāng)權(quán)重為零時(shí)則表明熱量無法沿著邊緣流動(dòng)。

邊緣權(quán)重的選擇會(huì)直接影響到在消除噪聲的過程中對(duì)不連續(xù)性的保留程度，文獻(xiàn)［19］中采用的權(quán)重設(shè)定具有較快的計(jì)算速度，但對(duì)噪聲的魯棒性較差。一個(gè)比較有效的方法是利用這個(gè)點(diǎn)及其周圍的點(diǎn)的灰度來計(jì)算，為此，需要將每個(gè)像素都用一個(gè)包含其周圍點(diǎn)的窗口來表示，這個(gè)方形窗口的大小為n，使用Pi表示像素i的窗口，窗口Pi的灰度級(jí)用向量來表示，因此，兩個(gè)點(diǎn)i，j之間的相似度可以通過兩個(gè)窗口與之間的高斯加權(quán)歐幾里德距離來表示:

這里引入高斯濾波起是為了增強(qiáng)距離對(duì)噪聲的穩(wěn)定性。通過式(9)我們可以得到的邊緣權(quán)重為:

其中X(i)為點(diǎn)i的位置，r為控制圖像上兩點(diǎn)間局域連通性的距離閾值，υ為對(duì)比度系數(shù)，其取值范圍υ∈［0，1］.

為了對(duì)圖像能夠使用熱核方法，就要在圖像G中建立加權(quán)鄰接矩陣W，使得其中元素W(i，j)= w(i，j)，構(gòu)建度矩陣j)，使用度矩陣與加權(quán)鄰接矩陣，我們可以計(jì)算出拉普拉斯矩陣L=T-W，其形式如下所示:

這個(gè)拉普拉斯矩陣的譜分解可以寫為L(zhǎng)= ΦΛΦT的形式。

與拉普拉斯矩陣L相關(guān)的圖像熱方程的矩陣形式為:

其中t為時(shí)間，是控制熱擴(kuò)散率的比例系數(shù)，Ht為熱核矩陣，L是規(guī)范化的圖像拉普拉斯矩陣。其解可以利用指數(shù)化拉普拉斯矩陣和時(shí)間t獲得:

由于拉普拉斯矩陣L可以表示為L(zhǎng)=ΦΛΦT，那么式(11)變?yōu)?

其中熱核Ht為對(duì)稱矩陣。將圖像G的點(diǎn)i，j代入可以得到:

當(dāng)t趨于0時(shí)，存在Ht?I-Lt，既熱核由圖像的局部連通結(jié)構(gòu)決定，由于拉普拉斯矩陣L由圖像的局部結(jié)構(gòu)獲得，所以可以認(rèn)為在較短的時(shí)間內(nèi)，熱核的值由拉普拉斯矩陣L決定。當(dāng)t比較大時(shí)，存其中λ2為最小非零特征值，φ2為相關(guān)特征向量，因此可以看出在大時(shí)間條件下，熱核的值由圖像的全局結(jié)構(gòu)支配。

為了使用擴(kuò)散過程來平滑圖像，需要使得在每個(gè)節(jié)點(diǎn)間插入的熱能等同于相對(duì)應(yīng)點(diǎn)的灰度，隨著時(shí)間的發(fā)展，最初插入到節(jié)點(diǎn)之間的熱能會(huì)通過圖像的邊緣擴(kuò)散，而邊緣的權(quán)重則相當(dāng)于熱導(dǎo)率。熱擴(kuò)散進(jìn)程由式(12)所示的微分方程決定，初始條件中的熱能由對(duì)應(yīng)的點(diǎn)的灰度決定，圖像中每個(gè)點(diǎn)的灰度轉(zhuǎn)換的列向量C→滿足方程:

可以得到在t時(shí)刻，平滑圖像中j點(diǎn)的灰度為:

對(duì)于彩色圖像(RGB)，只需要分別處理顏色三條不同的通道即可。

2 圖像增強(qiáng)

在對(duì)之前平滑處理后的圖像進(jìn)行增強(qiáng)處理，可以很大程度上的還原圖像、增強(qiáng)效果，同時(shí)避免噪聲帶來的負(fù)面影響。

2.1 直方圖均衡化算法

利用直方圖均衡化算法來提高圖像的對(duì)比度是一種常見的方法，其主要分為全局直方圖均衡與局部直方圖均衡。全局直方圖均衡算法計(jì)算簡(jiǎn)單，但存在影響圖像基本特征，增強(qiáng)過度，噪聲加劇等問題。

直方圖修正的目的是為了使得修改后的直方圖趨向均勻分布，同時(shí)還能夠保持原有直方圖的特征。當(dāng)輸入圖像G的直方圖為hi時(shí)，存在一個(gè)均勻直方圖u，使修正后的直方圖h接近u，方程如下:

其中λ(λ∈［0，+∞］)為控制對(duì)比度增強(qiáng)等級(jí)的系數(shù)。

在傳統(tǒng)直方圖均衡化算法中，會(huì)對(duì)每個(gè)灰度級(jí)對(duì)應(yīng)的像素個(gè)數(shù)進(jìn)行統(tǒng)計(jì)，容易受到噪聲的影響，因此通過設(shè)定閾值r，讓每個(gè)像素g(x，y)與其前移兩列的像素g(x，y-2)做比較，當(dāng)時(shí)對(duì)該像素的灰度進(jìn)行統(tǒng)計(jì)，通過對(duì)閾值r的設(shè)定，一定程度上排除了噪聲對(duì)直方圖均衡化的干擾。

為了擴(kuò)大圖像的動(dòng)態(tài)范圍，需要構(gòu)建如下映射:

其中k*=1/(1+λ)，參數(shù)b，w根據(jù)圖像的最大最小亮度設(shè)定，參數(shù)α根據(jù)圖像的對(duì)比度設(shè)定。但如何有效設(shè)定各項(xiàng)參數(shù)的以及解決灰度級(jí)損失還存在改進(jìn)的空間。

2.2 局部方差增強(qiáng)法

由于圖像細(xì)節(jié)往往是高頻信息，所以通過計(jì)算圖像局部方差的變化，可以有效分析出圖像的細(xì)節(jié)信息。局部方差增強(qiáng)法的主要原理就是把圖像的對(duì)比度增強(qiáng)因子定義為以局部方差為變量的函數(shù)，然后把對(duì)比度增強(qiáng)運(yùn)算應(yīng)用到圖像的局部區(qū)域，從而擴(kuò)展局部圖像的灰度范圍，然后遍歷整個(gè)圖像［17］。

首先要對(duì)需要定義窗口大小，如果窗口選取的尺寸較小，則其內(nèi)部可統(tǒng)計(jì)到的灰度數(shù)有限，對(duì)比度拉伸過大，影響效果;若窗口的尺寸較大，雖然可統(tǒng)計(jì)到較多的灰度數(shù)，但計(jì)算量龐大，對(duì)比度拉伸過低，增強(qiáng)圖像的清晰度作用出現(xiàn)降低。窗口的大小可以通過比較全局圖像的標(biāo)準(zhǔn)差:與窗口內(nèi)局部圖像的標(biāo)準(zhǔn)差:來得到。其中窗口的初始大小為w×h，圖像的灰度級(jí)范圍為［0，L-1］，p(fi)為灰度級(jí)fi的概率，Eg為全局圖像的均值，El為窗口內(nèi)圖像的均值。如果σl＜kσg(k為小于1的常數(shù))，則認(rèn)為窗口內(nèi)所包含的灰度數(shù)不足，將窗口的長(zhǎng)度分別延長(zhǎng)一個(gè)步長(zhǎng)w+a，h+b，重新計(jì)算出擴(kuò)大窗口后的局部標(biāo)準(zhǔn)差σ'l和kσg進(jìn)行比較;如果＜kσg則繼續(xù)增大窗口一個(gè)步長(zhǎng)，直到出現(xiàn)σl＞kσg，如果擴(kuò)展超出圖像的邊界則保持超出前的大小。

根據(jù)窗口區(qū)域內(nèi)像素的原灰度范圍［P，Q］，通過增強(qiáng)因子ε，得到拉伸后的新的灰度范圍［P'，Q'］且設(shè)定值域在0～255之間，其中ε=D/，D為常數(shù)，可以根據(jù)不同圖像的方差大小來變化。則:

對(duì)窗口區(qū)域內(nèi)的中心像素點(diǎn)(i，j)進(jìn)行等比例灰度變化，使其變化后局部亮度保持基本不變，令g(i，j)為增強(qiáng)后的窗口中心點(diǎn)像素值灰度:

讓窗口逐像素位置移動(dòng)，完成整幅圖像的增強(qiáng)。

3 試驗(yàn)結(jié)果與分析

在進(jìn)行平滑處理時(shí)，我們將窗口大小定義為5 ×5通過式(7)計(jì)算邊緣權(quán)重，雖然更大的窗口大小可以提供更好的效果，不過也會(huì)耗費(fèi)更多的計(jì)算時(shí)間。平滑處理效果與三個(gè)自由變量相關(guān)，分別為式(6)中的σ，式(7)中的k，以及擴(kuò)散終止時(shí)間ts.其中σ的大小由噪聲的方差決定，一般選取為零均值噪聲標(biāo)準(zhǔn)差大小的一半;k的大小影響熱擴(kuò)散速率，通常設(shè)定在0.05-0.15之間;ts的取值由圖像需要達(dá)到的平滑效果決定，一般取值小于10.在進(jìn)行圖像增強(qiáng)處理時(shí)，增強(qiáng)效果受到兩個(gè)常量的影響。我們將k值定為0.6，較大的k可以提供更好的效果，不過也會(huì)加大計(jì)算量;D值的大小一般由圖像的方差大小來決定，根據(jù)圖像的方差大小來變化。

圖1(a)為一幅典型的天空?qǐng)D像，并受到噪聲干擾。分別使用高斯濾波，P-M方法與本文方法進(jìn)行比較。圖1(b)為經(jīng)過高斯濾波平滑后的圖像，圖1 (c)為經(jīng)過高斯濾波處理后100%大小的局部圖像，可以看出噪聲被有效的消除，但目標(biāo)的輪廓被明顯的模糊了。圖1(d)使用了P-M方法進(jìn)行噪聲處理，圖1(e)為圖1(d)局部100%大小圖像，可見邊緣被良好保留，但出現(xiàn)了明顯的色塊問題，平滑效果并不理想。圖1(f)是本文算法的平滑效果，其中t=3，k=0.15，σ=0.7，圖1(g)為其100%大小的局部圖像，可以看出，圖像的噪聲得到了消除，很好的保持了圖像的平滑性，且邊緣信息丟失較少，邊界明顯。圖1(h)為t=5，k=0.15，σ=0.7時(shí)的效果，可以看出噪聲進(jìn)一步得到消除，不過圖像的邊緣受到了一定影響，圖1(i)為圖1(h)的局部100%大小圖像。

圖1 圖像降噪結(jié)果比較Fig.1 Illustration of the effectiveness of different noise-decreasing methods

圖2 圖像增強(qiáng)結(jié)果比較Fig.2 Illustration of the effectiveness of different enhancement methods

圖2顯示的是在利用平滑處理的圖像增強(qiáng)結(jié)果。圖2(a)顯示為經(jīng)過局部直方圖均衡化處理的效果，可以看出雖然圖像的對(duì)比度得到了提升，細(xì)節(jié)相應(yīng)加強(qiáng)，但灰度級(jí)的損失比較明顯，太陽的輪廓被錯(cuò)誤拉伸。圖2(b)采用了本文所示方法，其中k=0.6，D=0.3，可以看出云層邊界相對(duì)明顯，太陽輪廓得到改善，局部細(xì)節(jié)有所加強(qiáng)，且圖像保持了原有的平滑效果。圖2(c)中k=0.6，D=0.5，可以看出對(duì)比值更加明顯，不過太陽輪廓有一定程度拉伸。

4 結(jié)束語

針對(duì)復(fù)雜條件的天空?qǐng)D像易出現(xiàn)的問題，提出了一種使用熱核信息的算法，同時(shí)結(jié)合局部方差增強(qiáng)法，有效解決了平滑過程中邊緣信息的保護(hù)問題以及圖像增強(qiáng)引起的噪聲增加，整體動(dòng)態(tài)范圍差的問題，完善了對(duì)天空?qǐng)D像采樣的預(yù)處理，為后續(xù)的圖像分割，辨識(shí)等操作提供了有利的條件。

［1］CODRUTA O ANCUTI，COSMIN ANCUTI AND PHILLIPE BEKAERT.Enhancing by Saliency-guided Decolorization［C］∥IEEE Conference on Computer Vision and Pattern Recognition，2011:257-264.

［2］NARASIMHAN SQNAYAR S K.Contrast restoration of weather degraded images［J］.PAM1，2003，25(6):713-724.

［3］BOUGLEUX S，ELMOATAZ A，MELKEMI M.Local and nonlocal discrete regularization on weighted graphs for image and mesh processing［J］.International Journal of Computer Vision，2009，84(2):220-236.

［4］禹晶，李大鵬，廖慶敏.基于物理模型的快速單幅圖像去霧方法［J］.自動(dòng)化學(xué)報(bào)，2011，37(2):143-149.

［5］MING JUNG SEOW，VIJAYAN K ASARI.Ratio rule and homomorphic filter for enhancement of digital colour image［J］.Neurocomputing，2006，69(7):954-958

［6］PIZARRO L，MRáZEK P，DIDAS S，et al.Generalised Nonlocal Image Smoothing［J］.International Journal of Computer Vision，2010，90(1):62-87.

［7］GIBBS R G.New Kalman filter and smoother consistency tests［J］.Automatica，2013，49(10):3141-3144.

［8］PERONA P，MALIK J.Scale-space and edge detection using anisotropic diffusion［J］.IEEE Trans Pattern Anal Mach Intell，1990，12(7):629-639.

［9］CATTé F，LIONS P，MOREL J，et al.Image selective smoothing and edge detection by nonlinear diffusion［J］.SIAM J Numer Anal，1992(29):182-193.

［10］XIAO B，WILSON R C，HANCOCK E R.Characterising graphs using the heat kernel［C］∥Proceedings of BMVC，2005.

［11］CHEN Z，KIM P，SONG R.Global heat kernel estimate for relativistic stable processes in exterior open sets［J］.Journal of Functional Analysis，2012，263(2):448-475.

［12］DOBBS D，MELCHER T.Smoothness of heat kernel measures on infinite-dimensional Heisenberg-like groups［J］.Journal of Functional Analysis，2013，264(9):2206-2223.

［13］PATANé G，SPAGNUOLO M.Heat diffusion kernel and distance on surface meshes and point sets［J］.Computers＆Graphics，2013，37(6):676-686.

［14］MAO J.Eigenvalue inequalities for the p-Laplacian on a Riemannian manifold and estimates for the heat kernel［J］.Journal de Mathématiques Pures et Appliquées，2014，101(3):372-393.

［15］FABRIZIO RUSSO.An Image Enhancement Technique Combining Sharpening and Noise Reduction［J］.IEEE Transactions on Instrumentation and Measurement，2002，51(4):824-828.

［16］藝書，柳曉鳴，涂雅瑗，等.一種改進(jìn)的霧天降質(zhì)圖像的清晰化算法［J］.大連海事大學(xué)學(xué)報(bào)，2007，33(3):55-58.

［17］喻欣，張勇，杜慶，等.基于直方圖修正的局部對(duì)比度增強(qiáng)算法［J］.計(jì)算機(jī)與數(shù)字工程，2011(3):5-8.

［18］劉琬臻，付忠良.基于局部方差改進(jìn)的超聲圖像各向異性擴(kuò)散去噪算法［J］.計(jì)算機(jī)應(yīng)用，2013(9):2599-2602.

［19］LI X，HU W，WANG H，et al.Robust object tracking using a spatial pyramid heat kernel structural information representation［J］.Neurocomputing，2010，73(16-18):3179-3190.

Complex Sky Image Enhancement

NIE Kai，HE Qiu-sheng
(School of Electronics Information and Engineering，Taiyuan University of Science and Technology，Taiyuan 030024，China)

A method for enhancing sky image in complex weather condition was presented.In order to eliminate the impact of noise in the processing of enhancement，heat kernel method was used to smooth the image.the image pixel lattice using a weighted undirected graph was presented.The heat equation could capture the anisotropic diffusion across this weighted graph-structure，so it could keep the structural information about the image.Then the local variance method was used，which sub-block could be adaptive to enhance the smoothed image.The results show that the method can effectively enhance the image quality，which made a favorable condition for the next steps of processing sussequent segmentation，etc..

image smoothing，image enhancement，heat equation，heat kernel，anisotropic diffusion，complex sky condition

TP14

A

10.3969/j.issn.1673-2057.2015.03.012

1673-2057(2015)03-0217-06

2014-11-05

山西省高?？萍紕?chuàng)新項(xiàng)目(20120024);山西省自然科學(xué)基金項(xiàng)目(2013011035-2)

聶愷(1987-)，男，碩士，主要研究方向?yàn)榭刂评碚撆c控制工程。