基于圖像融合技術(shù)的Retinex圖像增強(qiáng)算法*

常 戩，劉 旺，白佳弘

(遼寧工程技術(shù)大學(xué)軟件學(xué)院,遼寧 葫蘆島 125105)

1 引言

作為人類獲取信息的主要途徑之一，數(shù)字圖像被廣泛地應(yīng)用在航空航天技術(shù)、生物醫(yī)學(xué)、軍事公安、視頻和多媒體技術(shù)以及電子商務(wù)等眾多領(lǐng)域[1]。然而，受光照、天氣、采集設(shè)備等因素的制約，實際獲得的圖像往往存在光照不均、細(xì)節(jié)丟失等問題，嚴(yán)重影響圖像信息的傳達(dá)。因此，采用圖像增強(qiáng)技術(shù)來提升圖像的質(zhì)量和視覺效果具有重要的應(yīng)用價值。

當(dāng)前，圖像增強(qiáng)算法可分為空間域算法和頻率域算法兩大類。其中，空間域算法通過直接處理圖像的像素值來達(dá)到圖像增強(qiáng)的目的，而頻率域算法則是通過修改圖像的傅里葉變換來達(dá)到圖像增強(qiáng)的目的。目前國內(nèi)外的圖像增強(qiáng)算法主要包括線性變換、伽馬校正、直方圖均衡、反銳化掩膜、同態(tài)濾波、色調(diào)映射、暗通道算法、基于形態(tài)學(xué)的圖像增強(qiáng)算法、基于人類視覺系統(tǒng)的圖像增強(qiáng)算法、基于偏微分方程的圖像增強(qiáng)算法等。其中，直方圖均衡算法通過在整個灰度級上均勻地擴(kuò)展圖像的直方圖來達(dá)到增強(qiáng)圖像對比度、豐富圖像細(xì)節(jié)的目的。但是，在均衡直方圖的過程中，原始圖像中像素個數(shù)較少的灰度級被歸并到了新的灰度級上，這會導(dǎo)致圖像局部過增強(qiáng)且丟失細(xì)節(jié)[2]。反銳化掩膜通過加強(qiáng)原始圖像中的邊緣輪廓等高頻信息來達(dá)到圖像增強(qiáng)的目的[3]，但增強(qiáng)后的圖像在邊緣處存在光暈現(xiàn)象，且光照變化平緩的區(qū)域增強(qiáng)幅度較小[4]。偏微分方程具有圖像統(tǒng)計建模的簡單性和靈活性以及數(shù)值實現(xiàn)中數(shù)學(xué)易處理性和有效性等優(yōu)點，在圖像增強(qiáng)中引起了廣泛的關(guān)注[5]。色調(diào)映射基于對比度增強(qiáng)技術(shù)，構(gòu)建了基于概率的像素映射函數(shù)，然而，經(jīng)常會為平滑區(qū)域分配一個較大的動態(tài)范圍，從而阻止了對感興趣的區(qū)域動態(tài)范圍資源的分配[6]。

近年來，Retinex理論逐漸成為圖像增強(qiáng)、圖像去霧等領(lǐng)域中的研究熱點。20世紀(jì)70年代，美國物理學(xué)家Edwin Land首次提出Retinex理論[7]，該理論認(rèn)為人們所觀察到的圖像是在入射光和反射光的共同作用下形成的[8]。隨后，學(xué)者們基于該理論又提出了很多改進(jìn)的Retinex算法，例如：隨機(jī)路徑選擇法[9]、基于同態(tài)濾波的Retinex算法[10]、基于泊松方程的Retinex算法[11]等。20世紀(jì)90年代，Jobson等人[12]提出單尺度Retinex算法、多尺度Retinex算法等以中心環(huán)繞理論為核心的Retinex算法。2015年，Lee等人[13]提出基于Retinex的低光級圖像的色彩保持對比度增強(qiáng)。2016年，Zhang等人[14]提出基于引導(dǎo)濾波和Retinex的彩色圖像增強(qiáng)算法。2016年，Liu等人[15]提出基于自適應(yīng)深度圖的Retinex圖像去霧算法。2016年，Song等人[16]提出基于遺傳算法和人類視覺系統(tǒng)的自適應(yīng)Retinex算法。2017年，Park等人[17]提出基于Retinex模型的變分優(yōu)化的低光圖像增強(qiáng)。Retinex算法憑借其實現(xiàn)簡單、增強(qiáng)效果顯著等優(yōu)點得到了學(xué)者們的廣泛研究。然而，Retinex理論遵循光照強(qiáng)度一致性假設(shè)，認(rèn)為圖像的光照強(qiáng)度的變化是均勻的，這導(dǎo)致增強(qiáng)后的結(jié)果圖像在邊緣等光照對比強(qiáng)烈的區(qū)域產(chǎn)生光暈現(xiàn)象。此外，傳統(tǒng)單尺度Retinex算法僅對圖像進(jìn)行全局增強(qiáng)處理，沒有考慮到圖像的局部特征，導(dǎo)致增強(qiáng)后的圖像對比度較低、圖像泛灰[18]。針對單尺度Retinex算法存在“光暈”現(xiàn)象的不足，文獻(xiàn)[19]提出采用雙邊濾波替換高斯核函數(shù)來估計光照圖像，并將改進(jìn)算法應(yīng)用于人臉識別領(lǐng)域?；陔p邊濾波的Retinex算法能夠較好地克服光暈現(xiàn)象，但仍然沒有解決圖像泛灰的問題。

為克服傳統(tǒng)單尺度Retinex算法的光暈現(xiàn)象和圖像泛灰的不足，本文提出一種基于圖像融合技術(shù)的Retinex圖像增強(qiáng)算法。針對光暈現(xiàn)象，參照文獻(xiàn)[12]，結(jié)合Jian等人[20]提出的加權(quán)濾波思想，即提煉出高斯加權(quán)雙邊濾波，并用其替換傳統(tǒng)的單尺度Retinex算法中的高斯核函數(shù)，有效地去除了光暈現(xiàn)象。針對泛灰問題，本文將圖像融合思想引入到傳統(tǒng)算法中。首先，采用非線性變換拉伸反射圖像并運(yùn)用Otsu閾值分割算法獲取圖像的閾值，將像素值大于閾值的部分看作圖像的亮區(qū)域，相反地將像素值小于閾值的部分看作圖像的暗區(qū)域；然后，以信息熵為評價標(biāo)準(zhǔn)通過遍歷非線性變換的參數(shù)的方式獲得亮區(qū)域信息熵最大的圖像(亮區(qū)域最優(yōu)圖像)和暗區(qū)域信息熵最大的圖像(暗區(qū)域最優(yōu)圖像)；最后，將亮區(qū)域最優(yōu)圖像、暗區(qū)域最優(yōu)圖像以及原始圖像采用分塊融合的方法進(jìn)行融合，得到結(jié)果圖像。加入原始圖像是為了在充分增強(qiáng)圖像細(xì)節(jié)的同時，避免過增強(qiáng)現(xiàn)象，從而獲得清晰、自然的圖像增強(qiáng)效果。

2 算法基礎(chǔ)

2.1 Retinex理論

Retinex是由美國物理學(xué)家Edwin Land提出的一種自適應(yīng)圖像增強(qiáng)理論。該理論是模仿人類視網(wǎng)膜和大腦皮層在人眼視覺系統(tǒng)成像過程中的工作模式所提出的[21]。公式可表示為：

S(x,y)=R(x,y)×L(x,y)

(1)

其中，S(x,y)為原始圖像，L(x,y)為光照圖像，R(x,y)為反射圖像。Retinex理論的思想是減少甚至消除光照圖像對視覺效果的影響，保留反映圖像本質(zhì)屬性的反射圖像[22]，從而達(dá)到圖像增強(qiáng)的目的。

單尺度Retinex圖像增強(qiáng)算法是Retinex理論相關(guān)算法中應(yīng)用極為廣泛的一種。該算法首先采用高斯核函數(shù)估計光照圖像，然后從原始圖像中消除光照圖像的影響，達(dá)到圖像增強(qiáng)的效果，其實現(xiàn)過程如式(2)所示。

R(x,y)=logS(x,y)-log[F(x,y)*S(x,y)]

(2)

其中，*表示卷積運(yùn)算，F(xiàn)(x,y)為高斯核函數(shù)，即：

F(x,y)=ρ×e-(x2+y2)/σ2

(3)

其中，e為常量且e≈2.71828，σ為高斯環(huán)繞尺度，ρ為歸一化系數(shù)，需要滿足：

(4)

將像素值轉(zhuǎn)換到對數(shù)域處理主要有兩個方面的原因：一方面，對數(shù)域的運(yùn)算將復(fù)雜的乘除法轉(zhuǎn)換為簡單的加減法；另一方面，對數(shù)域的數(shù)據(jù)更加接近人眼的感知能力[23]。

單尺度Retinex圖像增強(qiáng)算法易于實現(xiàn)，且具有較好的圖像增強(qiáng)效果。然而，該算法仍然存在以下的不足：

(1)由于Retinex理論假設(shè)圖像的入射光是均勻變化的。而在實際的應(yīng)用中，這一假設(shè)往往難以得到滿足，特別是在圖像的邊緣等光照變化較為強(qiáng)烈的區(qū)域，容易產(chǎn)生“光暈”現(xiàn)象。

(2)傳統(tǒng)的Retinex圖像增強(qiáng)算法對圖像整體進(jìn)行全局增強(qiáng)，沒有考慮到圖像的局部特征，導(dǎo)致增強(qiáng)后的圖像對比度較低、圖像泛灰，視覺效果不自然。

2.2 圖像融合算法

圖像融合作為信息融合技術(shù)的一個重要分支，充分地利用圖像的互補(bǔ)信息，將同一觀察對象的多幅圖像整合為一幅高質(zhì)量的結(jié)果圖像[24]。近年來，隨著學(xué)者們對傳感器領(lǐng)域的持續(xù)研究與拓展，圖像融合技術(shù)也被越來越廣泛地應(yīng)用在各領(lǐng)域中。目前，圖像融合技術(shù)的研究重點在于對兩幅或多幅已有圖像進(jìn)行融合操作，在圖像增強(qiáng)領(lǐng)域的應(yīng)用還比較少，仍然存在很大的研究空間。

圖像融合技術(shù)分為像素級圖像融合、特征級圖像融合以及決策級圖像融合三個部分[25]。其中，像素級融合是后兩個層次的圖像融合的基礎(chǔ)，也是圖像融合領(lǐng)域近年來的研究熱點，它通過直接處理圖像的灰度值來達(dá)到圖像融合的目的。像素級圖像融合技術(shù)包括空間域融合和變換域融合。其中，空間域融合的常用方法有：加權(quán)平均法、對比度調(diào)制法、主成分分析法；變換域融合的常用方法有：金字塔法、小波變換法。

分塊圖像融合方法作為空間域圖像融合的研究熱點，首先將圖像劃分為特定尺寸的子塊，然后針對每一子塊，根據(jù)質(zhì)量評價標(biāo)準(zhǔn)從兩幅或多幅待融合圖像中選擇最優(yōu)子塊，并將篩選出的最優(yōu)子塊重新組合起來，構(gòu)成高質(zhì)量的結(jié)果圖像[26]。

為了在最大程度上增強(qiáng)圖像的細(xì)節(jié)，同時克服傳統(tǒng)算法存在的圖像泛灰問題，本文在圖像的增強(qiáng)過程中引入圖像分塊融合算法，并選擇信息熵作為最優(yōu)子塊的選取準(zhǔn)則。

3 本文算法

3.1 光照圖像估計

光照圖像估計是Retinex圖像增強(qiáng)理論的核心步驟，光照圖像估計方法的選擇會在一定程度上影響圖像的增強(qiáng)效果。針對傳統(tǒng)的單尺度Retinex算法容易產(chǎn)生光暈現(xiàn)象這一不足，本文采用高斯加權(quán)雙邊濾波來估計光照圖像。

傳統(tǒng)單尺度Retinex圖像增強(qiáng)算法以光照一致性假設(shè)為基礎(chǔ)，采用高斯模型估計光照圖像。然而在實際應(yīng)用中，圖像的光照強(qiáng)度往往并不是一致的。因此，增強(qiáng)后的圖像在光照變化強(qiáng)烈的邊界區(qū)域容易產(chǎn)生光暈現(xiàn)象。雙邊濾波是在高斯濾波的基礎(chǔ)上提出的一種改進(jìn)算法，它在高斯濾波的基礎(chǔ)上增加了與光照強(qiáng)度相關(guān)的參數(shù)。采用雙邊濾波進(jìn)行光照圖像估計的表達(dá)式如式(5)所示：

(5)

其中，p表示濾波窗口尺寸，S(i,j)為輸入圖像，L(i,j)為估計出的光照圖像，α為與像素間空間距離相關(guān)的系數(shù)，β為與光照強(qiáng)度相關(guān)的系數(shù)。α和β的表達(dá)式如下所示：

α=e-σd×((i-m)2+(j-n)2)

(6)

β=e-σl×(d(i,j)-d(m,n))2

(7)

其中，(i,j)為鄰域中心像素點的坐標(biāo)，(m,n)為鄰域內(nèi)其他像素點的坐標(biāo)，σd為距離差尺度參數(shù)，σl為亮度差尺度參數(shù)。雙邊濾波在高斯濾波的基礎(chǔ)上增加了對像素點間亮度差異程度的考慮。將雙邊濾波引入到傳統(tǒng)單尺度Retinex算法中，能夠有效地改善由于光照強(qiáng)度不均勻所導(dǎo)致的光暈現(xiàn)象。

高斯加權(quán)雙邊濾波是在雙邊濾波的基礎(chǔ)上提出的一種改進(jìn)算法，它通過改進(jìn)雙邊濾波中與光照強(qiáng)度相關(guān)的參數(shù)來達(dá)到調(diào)整像素點間亮度差異程度的目的。改進(jìn)后的參數(shù)的表達(dá)式如下所示：

β=e-σl×(|d(i,j)-d(m,n)|-γ)2

(8)

其中，參數(shù)γ的取值會影響圖像濾波的效果，當(dāng)γ取值過小時，不能有效縮小像素點間的亮度差異，濾波效果等同于傳統(tǒng)雙邊濾波；當(dāng)γ取值較大時，會增加像素點間的亮度差異，導(dǎo)致光暈現(xiàn)象。大量實驗表明，當(dāng)γ=20時，采用高斯加權(quán)雙邊濾波估計光照圖像能夠有效消除光照強(qiáng)度不一致導(dǎo)致的光暈現(xiàn)象，從而獲得清晰、無光暈的圖像。

采用高斯加權(quán)雙邊濾波估計出光照圖像后，依據(jù)Retinex理論去除光照圖像對視覺效果的影響，就可以得到反映圖像本質(zhì)屬性的反射圖像。反射圖像的計算公式如式(9)所示。

R′(i,j)=logS(i,j)-k×logL(i,j)

(9)

為使圖像更加自然，引入增益參數(shù)k(0

3.2 局部最優(yōu)圖像的獲取

采用高斯加權(quán)雙邊濾波來估計光照圖像能夠有效地克服光暈現(xiàn)象。然而，由于單尺度Retinex算法只在全局上對圖像進(jìn)行增強(qiáng)處理，忽略了圖像不同區(qū)域的局部特征，在增強(qiáng)后的圖像中，暗區(qū)域細(xì)節(jié)得到顯著增強(qiáng)，而亮區(qū)域?qū)Ρ榷认陆?，圖像泛灰，如圖1所示。為使圖像的亮、暗區(qū)域都得到最大程度的增強(qiáng)，本文提出圖像融合的思想，通過融合局部最優(yōu)圖像的方法來獲得高質(zhì)量的全局最優(yōu)圖像。如何獲取原始圖像的局部最優(yōu)圖像是此刻要解決的首要問題。

Figure 1 Grey phenomenon of Retinex theory圖1 Retinex理論的圖像泛灰現(xiàn)象

3.2.1 非線性變換

針對單尺度Retinex算法的圖像泛灰的不足，本文采用灰度變換方法來量化反射圖像，進(jìn)而增強(qiáng)圖像的對比度?；叶茸儞Q方法包括線性變換和非線性變換兩種。其中，線性變換實現(xiàn)簡單，但往往無法充分滿足圖像增強(qiáng)的要求。非線性變換通過靈活地調(diào)整變換曲線的斜率，能夠?qū)D像的不同區(qū)域?qū)崿F(xiàn)不同程度的增強(qiáng)。常用的圖像非線性變換方法包括對數(shù)變換、冪率變換等。本文所使用的非線性變換的公式如式(10)所示。

(10)

Figure 2 Curves of the nonlinear transformation varied with different λ圖2 參數(shù)λ取不同值時對應(yīng)的非線性變換曲線

由圖2可知，當(dāng)λ取值較小時，曲線接近于線性變換，圖像拉伸程度比較均勻，結(jié)合Retinex圖像暗區(qū)域增強(qiáng)效果顯著的特征，在拉伸后的結(jié)果圖像中，原圖像的暗區(qū)域的增強(qiáng)效果顯著，而亮區(qū)域?qū)Ρ榷炔蛔?、圖像視覺效果偏灰。隨著λ取值的增大，R′(x,y)值較小的區(qū)域拉伸后像素值接近于0，而R′(x,y)值較大的區(qū)域曲線斜率較大，結(jié)果圖像中亮區(qū)域的增強(qiáng)效果顯著，但暗區(qū)域的細(xì)節(jié)缺失較多。因此，當(dāng)λ取不同值時，圖像亮、暗區(qū)域分別取得不同程度的增強(qiáng)效果。本文通過調(diào)整非線性變換參數(shù)的方式來獲得亮區(qū)域最優(yōu)圖像和暗區(qū)域最優(yōu)圖像，進(jìn)而通過圖像融合算法獲得全局最優(yōu)圖像。

3.2.2 最優(yōu)參數(shù)的選取

在局部最優(yōu)圖像獲取的過程中，主要有兩個影響參數(shù)，分別為式(9)中的增益參數(shù)k和式(10)中非線性變換的參數(shù)λ，合理選取這兩個參數(shù)，對于圖像增強(qiáng)的最終結(jié)果具有至關(guān)重要的作用。

本文采用梯度上升算法[28]來選取亮區(qū)域最優(yōu)參數(shù)kmaxl、λmaxl和暗區(qū)域最優(yōu)參數(shù)kmaxd、λmaxd。在求取最優(yōu)參數(shù)的過程中，以信息熵最大化作為參數(shù)的選取依據(jù)。信息熵用來衡量圖像中所包含的信息量的豐富程度，信息熵越大則表明圖像所包含的信息越豐富，圖像細(xì)節(jié)增強(qiáng)效果越好。圖像信息熵的計算公式如式(11)所示。

(11)

其中，l表示[0,255]內(nèi)的某一像素值，p(l)表示該像素值在圖像中所占的比例。本文采用梯度上升算法獲取局部最優(yōu)參數(shù)的步驟如下：

(1)初始化最優(yōu)參數(shù)。參數(shù)變量：k=0.1，λ=1；亮區(qū)域最優(yōu)參數(shù)：kmaxl=0.1,λmaxl=1；暗區(qū)域最優(yōu)參數(shù)：kmaxd=0.1,λmaxd=1；亮、暗區(qū)域的信息熵變量：el=0,ed=0；亮、暗區(qū)域最大信息熵：emaxl=0,emaxd=0；參數(shù)增量：Δk=0.1,Δλ=1。

(2)求得當(dāng)前參數(shù)下的結(jié)果圖像。將參數(shù)變量k、λ分別代入式(9)和式(10)求得當(dāng)前參數(shù)下的結(jié)果圖像。

(3)確定結(jié)果圖像的亮、暗區(qū)域。采用Otsu閾值分割算法[29]獲取圖像的閾值，并依此判斷圖像的亮、暗區(qū)域，將像素值小于閾值的點作為圖像暗區(qū)域的點，將像素值大于閾值的點作為圖像亮區(qū)域的點。

(4)計算亮、暗區(qū)域的信息熵。通過式(11)分別計算出圖像亮區(qū)域的信息熵el和暗區(qū)域的信息熵ed。

(5)比較信息熵的大小。比較el與emaxl、ed與emaxd的大小。若el>emaxl，則emaxl=el、kmaxl=k、λmaxl=λ。否則emaxl、kmaxl、λmaxl的值保持不變。同理可得到emaxd、kmaxd、λmaxd的值。

(6)根據(jù)梯度上升算法增加k和λ的值。設(shè)置λ=λ+Δλ、k=k+Δk。重復(fù)步驟(2)到步驟(5)，直到參數(shù)k和λ達(dá)到規(guī)定的上限為止。此時的參數(shù)kmaxl、λmaxl即為使亮區(qū)域信息熵取得最大值的亮區(qū)域最優(yōu)參數(shù)，kmaxd、λmaxd即為使暗區(qū)域信息熵取得最大值的暗區(qū)域最優(yōu)參數(shù)。

大量實驗表明，最優(yōu)參數(shù)λmaxl、λmaxd的取值以[1,20]為宜。

3.2.3 獲取局部最優(yōu)圖像

采用高斯加權(quán)雙邊濾波估計出光照圖像后，將3.2.2節(jié)求得的局部最優(yōu)參數(shù)kmaxl代入式(9)，即可得到未經(jīng)拉伸的反射圖像；將局部最優(yōu)參數(shù)λmaxl代入式(10)，即可得到亮區(qū)域取得最大信息熵的亮區(qū)域最優(yōu)圖像。同理，將參數(shù)kmaxd、λmaxd分別代入式(9)和式(10)，即可得到暗區(qū)域最優(yōu)圖像。

圖3顯示了對亮、暗區(qū)域分別取得最大信息熵時的局部最優(yōu)圖像。其中，圖3a為一幅尺寸為400×300的灰度圖像，圖3b為亮區(qū)域最優(yōu)圖像，圖3c為暗區(qū)域最優(yōu)圖像。圖3b中房屋主體等原始圖像中明亮區(qū)域的增強(qiáng)效果較好，而房前等昏暗區(qū)域細(xì)節(jié)較少；圖3c中，房前區(qū)域細(xì)節(jié)增強(qiáng)較好，而房屋主體等原始圖像中較為明亮的區(qū)域細(xì)節(jié)丟失。

Figure 3 Original image and local optimal images圖3 原始圖像和局部最優(yōu)圖像

3.3 圖像融合

3.3.1 圖像分塊融合

為在充分增強(qiáng)圖像細(xì)節(jié)的同時，避免過度增強(qiáng)現(xiàn)象，本文在融合過程中加入原始圖像來調(diào)節(jié)結(jié)果圖像的亮度。采用分塊融合方法對原始圖像、亮區(qū)域最優(yōu)圖像和暗區(qū)域最優(yōu)圖像進(jìn)行融合處理。

首先，對三幅圖像進(jìn)行相同的分塊處理，將圖像分為大小相同的方形子塊，圖像分塊示意圖如圖4所示。假設(shè)圖像大小為M×N，子塊大小為r×r。當(dāng)圖像能夠被整分時，區(qū)域2和區(qū)域3忽略不計，圖像被分為(M/r)×(N/r)塊；當(dāng)圖像不能被方形子塊整分時，將區(qū)域2和區(qū)域3作為兩個獨立的子塊處理，圖像被分為[M/r]×[N/r]+2塊([]表示取整函數(shù))。然后，計算每一幅圖像的相應(yīng)子塊的信息熵，取相應(yīng)子塊信息熵最大的圖像作為該子塊區(qū)域的選定圖像。最后將各選定子塊融合，得到高質(zhì)量的結(jié)果圖像。在結(jié)果圖像中，各子塊均具有最豐富的細(xì)節(jié)信息。采用圖像分塊融合方法對圖3中的3幅圖像進(jìn)行融合處理的結(jié)果如圖5a所示。由圖5a可知，在采用分塊融合算法得到的結(jié)果圖像中，圖像各子塊均取得較好的增強(qiáng)效果，且圖像對比度較高。然而，分塊圖像融合算法存在一個明顯的不足，即在融合后的結(jié)果圖像中，存在嚴(yán)重的塊效應(yīng)。

Figure 4 Schematic diagram of image blocks圖4 圖像分塊示意圖

3.3.2 一致性校驗

為解決圖像融合算法的塊效應(yīng)問題，本節(jié)采用一致性校驗方法處理融合后的結(jié)果圖像。

對合成后的圖像以子塊為單位劃分鄰域，分別統(tǒng)計每一子塊所在鄰域內(nèi)來源于原始圖像、亮區(qū)域最優(yōu)圖像以及暗區(qū)域最優(yōu)圖像的子塊個數(shù)，并以子塊個數(shù)為依據(jù)對圖像進(jìn)行加權(quán)融合。假設(shè)在以某子塊為中心的鄰域內(nèi)，來源于原始圖像的子塊個數(shù)為no，來源于亮區(qū)域最優(yōu)圖像的子塊個數(shù)為nl，來源于暗區(qū)域最優(yōu)圖像的子塊個數(shù)為nd，則鄰域中心子塊合成公式如式(2)所示。

f(i,j)=wo×do(i,j)+

wl×dl(i,j)+wd×dd(i,j)

(12)

其中，do(i,j)、dl(i,j)、dd(i,j)分別表示原始圖像、亮區(qū)域最優(yōu)圖像、暗區(qū)域最優(yōu)圖像中該子塊的像素值，wo、wl、wd分別為原始圖像、亮區(qū)域最優(yōu)圖像和暗區(qū)域最優(yōu)圖像的權(quán)重，它們的表達(dá)式如下：

(13)

(14)

(15)

圖5b顯示了采用一致性校驗方法處理圖5a后的結(jié)果圖像。由圖像可知，一致性校驗方法有效地去除了圖像的塊效應(yīng)，在塊效應(yīng)去除與圖像增強(qiáng)效果之間取得了較好的平衡。

Figure 5 Blocking effect of optimal fusion algorithm and the resulting image of consistency verification圖5 圖像分塊融合的塊效應(yīng)及一致性校驗后的結(jié)果圖像

針對傳統(tǒng)單尺度Retinex算法存在的光暈現(xiàn)象，本文采用高斯加權(quán)雙邊濾波估計光照圖像，有效去除了光暈現(xiàn)象。針對對比度低、圖像泛灰的現(xiàn)象，引入圖像融合的思想：首先，以信息熵為衡量標(biāo)準(zhǔn)，通過調(diào)整非線性變換的參數(shù)得到局部最優(yōu)圖像；然后，采用分塊融合算法將原始圖像、亮區(qū)域最優(yōu)圖像和暗區(qū)域最優(yōu)圖像融合成高質(zhì)量的結(jié)果圖像；最后，通過一致性校驗消除圖像分塊融合算法產(chǎn)生的塊效應(yīng)，得到圖像增強(qiáng)的結(jié)果圖像。

3.4 算法總體框架

本文算法的詳細(xì)流程如圖6所示。

Figure 6 Flow chart of the proposed algorith圖6 本文算法的流程圖

4 實驗結(jié)果分析

為驗證本文算法的增強(qiáng)效果和魯棒性，分別對兩組光照不均勻圖像、兩組低對比度圖像以及兩組霧霾圖像進(jìn)行實驗，并與三種經(jīng)典算法和牛為華等人[30]提出的Riemann_Liouville分?jǐn)?shù)階微分增強(qiáng)算法進(jìn)行比較。實現(xiàn)工具為Visual C++ 6.0，CPU為因特爾酷睿i5雙核2.30 GHz，內(nèi)存為4 GB，操作系統(tǒng)為Windows 7，64位操作系統(tǒng)。實驗中，高斯加權(quán)雙邊濾波的參數(shù)：p=5(濾波窗口大小為11×11)，γ=20，距離差尺度參數(shù)σd=0.01，亮度差尺度參數(shù)σl=0.001；圖像分塊融合的參數(shù)：待融合子塊大小為5×5，子塊鄰域大小為31×31。實驗結(jié)果如圖7～圖12所示。其中，圖7和圖8為光照不均勻圖像，圖9和圖10為低對比度圖像；圖11和圖12為霧霾圖像。

Figure 7 Enhancement results of non-uniform illumination image House enhanced by five image enhancement algorithms圖7 5種圖像增強(qiáng)算法對光照不均勻圖像House的增強(qiáng)結(jié)果

Figure 8 Enhancement results of non-uniform illumination image Girl enhanced by five image enhancement algorithms圖8 5種圖像增強(qiáng)算法對光照不均勻圖像Girl的增強(qiáng)結(jié)果

Figure 9 Enhancement results of low-contrast image Birds enhanced by five image enhancement algorithms圖9 5種圖像增強(qiáng)算法對低對比度圖像Birds的增強(qiáng)結(jié)果

Figure 10 Enhancement results of low-contrast image Butterfly enhanced by five image enhancement algorithms圖10 5種圖像增強(qiáng)算法對低對比度圖像Butterfly的增強(qiáng)結(jié)果

觀察圖7a和圖8a可知，光照不均勻圖像亮、暗區(qū)域區(qū)分明顯。亮區(qū)域能看到較多細(xì)節(jié)，暗區(qū)域細(xì)節(jié)丟失嚴(yán)重，幾乎看不到細(xì)節(jié)信息。由于光照不均勻圖像的這一特征，在傳統(tǒng)算法的結(jié)果圖像中，亮、暗區(qū)域的交界處由于光照對比強(qiáng)烈產(chǎn)生光暈現(xiàn)象，如圖7b中樹葉邊緣和圖8b中小女孩頭部邊緣，增強(qiáng)后圖像對比度低、視覺效果泛灰；另外，在均衡圖像直方圖的過程中，像素個數(shù)較少的灰度級被合并到新的灰度級上。因此，直方圖均衡算法雖然能夠有效提高圖像對比度，但存在過度增強(qiáng)以及細(xì)節(jié)丟失現(xiàn)象，比如圖7c中房屋細(xì)節(jié)丟失，圖8c中小女孩臉部過度增強(qiáng)且丟失細(xì)節(jié)；反銳化掩膜算法通過加強(qiáng)圖像邊緣輪廓來達(dá)到圖像增強(qiáng)的目的，而在光照不均勻圖像中暗區(qū)域細(xì)節(jié)和輪廓缺失嚴(yán)重，僅加強(qiáng)邊緣并不能改善暗區(qū)域細(xì)節(jié)丟失現(xiàn)象。因此，反銳化掩膜算法雖然有效地增強(qiáng)了圖像邊緣，但對昏暗區(qū)域增強(qiáng)效果不顯著且圖像邊緣存在明顯光暈現(xiàn)象。如在圖7d和圖8d中，房屋、小女孩臉部等原始圖像中高對比度區(qū)域輪廓得到顯著增強(qiáng)，但樹葉、小女孩的背景區(qū)域原始圖像中暗區(qū)域增強(qiáng)效果微小，且在樹葉邊緣和小女孩頭部邊緣光暈現(xiàn)象較明顯；Riemann_Liouville分?jǐn)?shù)階微分算法根據(jù)數(shù)字圖像的自相關(guān)性對Riemann_Liouville分?jǐn)?shù)階微分中常數(shù)分?jǐn)?shù)階不為0的情況進(jìn)行改進(jìn)，構(gòu)建了8個方向的分?jǐn)?shù)階微分卷積模版，能夠提升圖像的高頻信息。如在圖7e和圖8e中，高對比度區(qū)域增強(qiáng)效果較為明顯，但暗區(qū)域增強(qiáng)效果不明顯。本文算法保留Retinex理論能夠消除光照強(qiáng)度對圖像影響的優(yōu)點[31]，能夠顯著增強(qiáng)光照不均勻圖像暗區(qū)域的細(xì)節(jié)。此外，高斯加權(quán)雙邊濾波的使用能夠有效地克服光暈現(xiàn)象。最后，非線性變換和圖像分塊融合技術(shù)的引用充分考慮了圖像的局部最優(yōu)，極大程度地增強(qiáng)圖像的對比度和細(xì)節(jié)信息，與單尺度Retinex算法相比取得了比較好的視覺效果。

Figure 11 Enhancement results of fog-degraded image Traffic enhanced by five image enhancement algorithms圖11 5種圖像增強(qiáng)算法對霧霾圖像Traffic的增強(qiáng)結(jié)果

Figure 12 Enhancement results of fog-degraded image Water Town enhanced by five image enhancement algorithms圖12 5種圖像增強(qiáng)算法對霧霾圖像Water town的增強(qiáng)結(jié)果

觀察圖9a和圖10a可知，低對比度圖像并不存在區(qū)域細(xì)節(jié)完全缺失的現(xiàn)象，只是圖像灰度級分布集中、對比度較低等因素導(dǎo)致圖像的細(xì)節(jié)不明顯。從圖9和圖10兩組圖像可以發(fā)現(xiàn)：由于不存在明暗對比強(qiáng)烈的區(qū)域，對于低對比度圖像，單尺度Retinex算法的增強(qiáng)結(jié)果的光暈現(xiàn)象并不明顯，但仍然存在圖像泛灰現(xiàn)象；直方圖均衡算法、反銳化掩膜算法以及本文算法均能顯著地增強(qiáng)低對比度圖像，但直方圖均衡算法容易丟失細(xì)節(jié)，比如圖9c石頭上的細(xì)節(jié)丟失較多、圖10c蝴蝶身體的細(xì)節(jié)丟失；反銳化掩膜雖然顯著地增強(qiáng)了圖像的邊緣，但對圖像亮度改善不明顯，增強(qiáng)后的圖像亮度與原始圖像相似；本文算法使圖像的細(xì)節(jié)得到了顯著的增強(qiáng)，同時又改善了圖像的亮度，對低對比度圖像的增強(qiáng)效果要優(yōu)于直方圖均衡算法和反銳化掩膜算法。

觀察圖11a和圖12a可知，霧霾圖像的細(xì)節(jié)被霧霾遮蓋，細(xì)節(jié)丟失，且視覺效果泛白。觀察圖11和圖12中5種算法對霧霾圖像的增強(qiáng)結(jié)果可知：單尺度Retinex算法和Riemann_Liouville分?jǐn)?shù)階微分算法能夠增強(qiáng)霧霾圖像的細(xì)節(jié)，但圖像泛灰；反銳化掩膜能夠增強(qiáng)圖像的邊緣，但不能改善圖像的亮度，且在邊緣處存在光暈現(xiàn)象；直方圖均衡算法和本文算法均能顯著地增強(qiáng)霧霾圖像的對比度，但直方圖均衡算法存在過度增強(qiáng)和細(xì)節(jié)丟失現(xiàn)象，比如：圖11d中轎車的蓋板、圖12d的水面等。

通過觀察實驗的結(jié)果圖像，我們能夠直觀地評價不同算法的增強(qiáng)能力，但視覺觀察會受到人們主觀意識的影響，因此對算法性能的評估還需要客觀數(shù)據(jù)的支持。本文選用均值、標(biāo)準(zhǔn)差、信息熵和平均梯度作為圖像增強(qiáng)算法的客觀評價指標(biāo)。

(1)均值。均值被用于評價圖像的平均亮度，均值越大，表明圖像的平均亮度越大。圖像均值的計算公式如下：

(16)

(2)標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差被用于評價圖像的對比度，標(biāo)準(zhǔn)差越大，表明圖像的對比度越高，圖像視覺效果越好。標(biāo)準(zhǔn)差的計算公式如下：

(17)

其中，mean表示圖像像素的平均值。

(3)信息熵。信息熵被用于評價圖像所包含信息的豐富程度，信息熵越大表明圖像的細(xì)節(jié)信息越豐富，算法的增強(qiáng)效果越好。圖像信息熵的計算公式如上文式(11)所示。

(4)平均梯度。平均梯度被用于評價圖像的清晰度，平均梯度越高，表明圖像的清晰度越高，圖像視覺效果越好。圖像平均梯度的計算公式如下：

f(i+1,j))2+(f(i,j)-f(i,j+1))2))1/2

(18)

5種算法對光照不均勻圖像、低對比度圖像和霧霾圖像的增強(qiáng)結(jié)果的客觀數(shù)據(jù)比較情況分別如表1～表3所示。

由表中數(shù)據(jù)可知：在均值方面，除反銳化掩膜外，其他4種圖像增強(qiáng)算法對光照不均勻圖像和低對比度圖像的增強(qiáng)結(jié)果的均值都有所提升，對霧霾圖像的結(jié)果圖像的均值都有所下降。這是因為霧霾圖像的細(xì)節(jié)被霧霾遮蓋，具有整體泛白的特征，原始圖像的均值較大，而在增強(qiáng)霧霾圖像的過程中，圖像的對比度得到增強(qiáng)，去除了霧霾對圖像的細(xì)節(jié)的遮蓋，這會導(dǎo)致圖像均值下降。霧霾圖像增強(qiáng)后的結(jié)果圖像的均值在一定程度上的下降恰恰說明增強(qiáng)效果顯著。同樣，反銳化掩膜算法的結(jié)果圖像的均值與原始圖像接近，結(jié)果圖像亮度改善程度較小。

Table 1 Result comparison of non-uniform illumination images among the five algorithms表1 5種算法對光照不均勻圖像的增強(qiáng)結(jié)果的客觀數(shù)據(jù)對比情況

Table 2 Result comparison of low-contrast images among the five algorithms表2 5種算法對低對比度圖像的增強(qiáng)結(jié)果的客觀數(shù)據(jù)對比情況

Table 3 Result comparison of fog-degraded images among the five algorithms表3 5種算法對霧霾圖像的增強(qiáng)結(jié)果的客觀數(shù)據(jù)對比情況

在標(biāo)準(zhǔn)差方面，對于這3種類型的圖像，使用單尺度Retinex算法進(jìn)行增強(qiáng)，其結(jié)果圖像的標(biāo)準(zhǔn)差均較低，圖像泛灰。反銳化掩膜算法對光照不均勻圖像的增強(qiáng)結(jié)果的標(biāo)準(zhǔn)差較高，對低對比度圖像和霧霾圖像的增強(qiáng)結(jié)果的標(biāo)準(zhǔn)差略低。直方圖均衡算法、Riemann_Liouville分?jǐn)?shù)階微分算法和本文算法對3種類型圖像的增強(qiáng)結(jié)果的標(biāo)準(zhǔn)差均較高，結(jié)果圖像對比度高。

在信息熵方面，對于這3種類型的圖像，使用直方圖均衡算法進(jìn)行增強(qiáng)，其結(jié)果圖像的信息熵均下降，圖像細(xì)節(jié)信息丟失。反銳化掩膜算法由于對圖像暗區(qū)域增強(qiáng)效果微弱，因此對光照不均勻的圖像進(jìn)行增強(qiáng)，其結(jié)果的信息熵下降。Riemann_Liouville分?jǐn)?shù)階微分算法相對于其他算法均值較高但信息熵較低。本文算法產(chǎn)生的增強(qiáng)結(jié)果的信息熵均遠(yuǎn)大于其他4種算法，結(jié)果圖像的細(xì)節(jié)信息豐富。

在平均梯度方面，對于這3種類型的圖像，使用這5種圖像增強(qiáng)的算法進(jìn)行增強(qiáng)，其結(jié)果圖像的平均梯度均有所提升，圖像的清晰度得到了增強(qiáng)。其中，反銳化掩膜算法、Riemann_Liouville分?jǐn)?shù)階微分算法和本文算法的清晰度提升程度高于其他2種算法。

綜上所述，單尺度Retinex算法適用于增強(qiáng)光照不均勻的圖像，但存在光暈現(xiàn)象和泛灰問題；直方圖均衡算法雖然能夠顯著地增強(qiáng)圖像的對比度，但細(xì)節(jié)丟失的現(xiàn)象嚴(yán)重；反銳化掩膜算法適用于增強(qiáng)低對比度的圖像，對光照不均勻的圖像和霧霾圖像中缺失的細(xì)節(jié)增強(qiáng)效果不顯著；Riemann_Liouville分?jǐn)?shù)階微分算法對圖像的高對比度信息進(jìn)行了有效提升，但對光線昏暗且對比度較低的信息和霧霾圖像的增強(qiáng)效果不明顯；綜合結(jié)果圖像和客觀數(shù)據(jù)來看，本文算法無論對光照不均勻的圖像、低對比度圖像還是霧霾圖像均有比較好的增強(qiáng)效果，在圖像增強(qiáng)能力和魯棒性等方面均優(yōu)于其他4種算法。

5 結(jié)束語

針對傳統(tǒng)單尺度Retinex算法存在的光暈現(xiàn)象和泛灰問題，本文提出了一種新的基于圖像融合技術(shù)的Retinex圖像增強(qiáng)算法。首先，采用高斯加權(quán)雙邊濾波估計光照圖像，去除了單尺度Retinex算法的光暈現(xiàn)象。然后，通過調(diào)整非線性變換的參數(shù)得到局部最優(yōu)圖像。最后，采用圖像分塊融合技術(shù)將原始圖像和局部最優(yōu)圖像融合成高質(zhì)量的結(jié)果圖像，并采用一致性校驗的方法去除分塊融合產(chǎn)生的塊效應(yīng)。對本文算法以及上述4種圖像增強(qiáng)算法進(jìn)行了對比實驗，結(jié)果表明，本文算法對實際應(yīng)用中常見的光照不均勻的圖像、低對比度的圖像以及霧霾圖像均取得了較好的增強(qiáng)效果，具有較強(qiáng)的圖像增強(qiáng)能力和魯棒性。但實際應(yīng)用中還會有相對惡劣的環(huán)境，如強(qiáng)光背景下小目標(biāo)與背景灰度接近，目標(biāo)與背景難以區(qū)分，因此對于本文算法來說，對強(qiáng)光背景下小目標(biāo)的增強(qiáng)，還有待提高。下一步將對如何根據(jù)圖像特征自適應(yīng)地確定分塊融合中待融合子塊的大小以及一致性校驗中子塊鄰域的大小進(jìn)行研究。