基于RETINEX的圖像增強方法探討

鄭美林 王 杉

(1九江學(xué)院科研處 江西九江 332005；2)

當用設(shè)備捕捉圖像時，任何類型的干擾都可能導(dǎo)致圖像質(zhì)量的下降。在處理這些圖像時，有一些技術(shù)可以幫助提高這些圖像的質(zhì)量，這些技術(shù)稱為圖像增強技術(shù)。對劣質(zhì)圖像進行處理并提高其質(zhì)量的過程稱為圖像增強[1]。圖像增強的目的是提高圖像質(zhì)量給人以視覺上的良好體驗。近年來，有各種圖像增強技術(shù)可用于有效增強低質(zhì)量的圖像，Retinex是其中一種非常有效和高效的技術(shù)。在人類的視覺系統(tǒng)中，當看到一個實物，借助人眼(Retina)和思維處理(Cortex)。它的圖像就在腦海中形成。人類視覺系統(tǒng)如何感知場景是Retinex的基礎(chǔ)。視網(wǎng)膜(Retina)和大腦皮層(Cortex)這兩個詞的混合導(dǎo)致了“Retinex”這個術(shù)語的形成。當在借助機器獲取圖像時，由于各種原因，可能導(dǎo)致圖像出現(xiàn)較低的動態(tài)范圍或較差的色彩穩(wěn)定性。(對于圖像來說，最高像素值與最低像素值之比稱為該圖像的動態(tài)范圍。在人類的視覺系統(tǒng)中，認為物體的顏色在不同的光照條件下是恒定的，稱之為色彩穩(wěn)定性)。Land對Retinex進行了分類[2,3]，中心/環(huán)繞算法用于實現(xiàn)單尺度Retinex。

1 相關(guān)研究

在開始了解基于Retinex的圖像增強方法之前，首先了解什么是Retinex 以及它如何計算圖像。

Land[4]在物理圖像捕捉模型的基礎(chǔ)上提出了Retinex理論。Retinex 理論認為物體的圖像(S)是由物體表面對入射光(L)反射得到的，而反射率R則由物體本身決定，不受入射光L的影響而變化。圖像的照度取決于照射在該物體上的1光源，反射率取決于物體本身。根據(jù)Retinex理論，從數(shù)學(xué)的角度看，可以將圖像除以反射率來計算出照度。但眾所周知，獲取有關(guān)圖像的照度或反射率的信息是不切實際的。在不知反射率的前提下，不可能從圖像上估算出照度。所以，隨后提出了關(guān)于照度和反射率或兩者的不同的假設(shè)和重新布置以解決這個問題。一個典型的假設(shè)是，場景和反射率的邊緣相同，并且假設(shè)場景中的光照在空間上逐漸變化。因此，在基于Retinex的方法中，大部分都是將反射率作為圖像與平滑圖像的比例來計算，并將其作為對光照的估算。在基于Retinex的圖像增強方法中，主要彌補照度對圖像的影響?；赗etinex方法的圖像形成模型如下：

I(m,n)=R(m,n)·L(m,n)

(1)

其中I(m， n)表示圖像，I的取值范圍在0到255之間，R(m， n)是物體的反射率，反射率的范圍在0和1之間，L(m， n)是照度，照度取值范圍也在0到255之間。對等式1進行對數(shù)轉(zhuǎn)換，得到：

logI=logR+logL

(2)

根據(jù)式(2)，可以說圖像的對數(shù)是反射率對數(shù)和照明對數(shù)的總和。至此，想求出反射率，可以將式(2)轉(zhuǎn)換為：

logR=logI-logL

(3)

在式(3)中，得到反射率的對數(shù)，通過對等式3取指數(shù)，可以得到反射率。

R=exp(logI-logL)

(4)

根據(jù)式(4)可得，反射率是圖像對數(shù)和照度對數(shù)的指數(shù)差。根據(jù)式(4)可以看到，要估計反射率，必須對照度以及圖像進行估算。因此，可以使用各種估算照度的濾波器。通過濾波器，可以使圖像平滑，并且在大多數(shù)基于Retinex的圖像增強方法中，平滑的圖像可以充當照度。

Retinex算法的分類是基于路徑、遞歸和中心/環(huán)繞的算法。中心/環(huán)繞算法在單尺度Retinex中首次實現(xiàn)。在單環(huán)繞Retinex之后，在中心/環(huán)繞算法上提出了許多算法。多尺度Retinex(MSR)[5]和MSRCR[6,7]也基于與SSR相同的中心/環(huán)繞算法。

2 方法

Retinex用于減少場景的直接視圖與該場景的捕獲圖像之間的差距。Jobson等提出了單尺度Retinex。但是SSR在圖像上一次只能執(zhí)行有限的任務(wù)，即它可以提供全部再現(xiàn)，也可以用于壓縮圖像的動態(tài)范圍。后來，他們提出了另一種方法，即SSR的加權(quán)總和，稱為多尺度Retinex(MSR)。MSR可以同時為圖像提供總再現(xiàn)和動態(tài)范圍的壓縮。MSR是一種更適合灰度圖像的方法。因此，為了克服MSR的這種局限性，需要一個步驟來將原始圖像的顏色恢復(fù)為增強圖像。于是提出了帶有色彩還原方法的多尺度Retinex(MSRCR)，并提出了圖像色彩還原的概念。MSRCR成為增強低照度圖像的更有效方法。同時，準確找到背景照度也非常重要，這樣Retinex可以有效地執(zhí)行其任務(wù)，因此唐玲等人提出了另一種方法。 被稱為IRIE[8]。在IRIE中，它獲取圖像的多個緊密相關(guān)的幀，然后對它們執(zhí)行照度提取操作。林昊寧和史振偉提出了一種對MSR進行夜間圖像增強的改進方法(MSRINTE)[9]。在MSRINTE方法中，用Sigmoid函數(shù)代替MSR的對數(shù)函數(shù)，以減少信息丟失。

2.1 單尺度RETINEX

SSR是Jobson等人在1997年提出的基于中心/環(huán)繞的Retinex方法。在SSR中，它以對數(shù)變換獲取圖像，并假設(shè)照明層是對圖像進行高斯變換的結(jié)果。在具有圖像和照明層之后，它減去兩者的對數(shù)變換以獲得結(jié)果。在SSR中，將圖像作為輸入，因為其質(zhì)量較低，所以必須提高質(zhì)量。所以需要一個適當?shù)倪^濾器對圖像進行卷積。然后，按照Retinex的方法找出反射率，將從輸入圖像的對數(shù)減去找到的照度的對數(shù)。然后，將結(jié)果作為輸出的增強圖像。它被稱為單尺度Retinex，因為它只使用一個環(huán)繞函數(shù)，通過對圖像進行卷積計算找出照度。數(shù)學(xué)上可以寫成：

R(m,n)=logIi(m,n)-log[F(m,n)*Ii(m,n)]

(5)

其中Ii代表第i個彩色光譜帶上的圖像分布，卷積運算符用*表示，F(xiàn)(m， n)表示環(huán)繞函數(shù)，R(m， n)表示各自Retinex的輸出。對數(shù)變換是在通過環(huán)繞函數(shù)對圖像進行卷積運算之后完成的。環(huán)繞函數(shù)的數(shù)學(xué)表示為：

(6)

式(6)中，C為標量值，可稱為環(huán)繞空間常數(shù)或高斯空間常數(shù)。K的選擇基于：

r=(m2+n2)1/2

(7)

(8)

環(huán)繞空間常數(shù)負責動態(tài)范圍壓縮和總再現(xiàn)之間的調(diào)整。利用較小幅度的縮放比例可以導(dǎo)致動態(tài)范圍的更多壓縮，并且可以通過利用較大幅度的內(nèi)核來實現(xiàn)更高的顏色恒定性。

SSR一次可以提供總再現(xiàn)或動態(tài)范圍壓縮。但SSR無法同時提供動態(tài)范圍壓縮和總再現(xiàn)。由于它僅使用單尺度來找出照度，而僅通過保留壓縮動態(tài)范圍或總再現(xiàn)中的一種屬性提供的圖像結(jié)果令人難以滿意。因此，為了克服這一問題，提出了另一種方法，稱為多尺度Retinex(MSR)。

2.2 多尺度RETINEX

如果場景的動態(tài)范圍比圖像設(shè)備能夠捕獲的動態(tài)范圍大得多，那么在這種情況下圖像將發(fā)生信息丟失且不可恢復(fù)。開發(fā)MSR就是為了克服SSR的局限性。MSR結(jié)合了不同環(huán)繞空間的質(zhì)量，提供了一個動態(tài)范圍和整體呈現(xiàn)良好壓縮效果的圖像。

在MSR中，它在單級上使用多重環(huán)繞功能來確定照度。在用卷積的方法計算出不同尺度的光照后，再取對數(shù)。然后，取一幅圖像的對數(shù)，并從它的一個尺度上減去計算得到的光照，然后對所有計算得到的光照重復(fù)這個過程。然后，取所有尺度的所有結(jié)果的加權(quán)和，最終得到增強圖像作為輸出。對SSR各尺度加權(quán)輸出的相加稱為多尺度Retinex。在數(shù)學(xué)上，MSR可以表示為：

{logIi(m,n)-log[Ii(m,n)*Mj(m,n)]}

(9)

其中I代表色帶(即R，G，B)，N代表尺度的使用數(shù)量，Mj(m，n)代表環(huán)繞功能，代表各個尺度的加權(quán)因子。環(huán)繞函數(shù)可以表示為：

(10)

其中σj代表高斯分布的標準偏差。

MSR在增強圖像后會保留圖像的大部分細節(jié)。MSR比SSR更好，但是它不能產(chǎn)生自然圖像。MSR能夠提供具有整體再現(xiàn)和動態(tài)范圍壓縮功能的結(jié)果，是找出灰度圖像增強效果的一種非常好的方法，但是它在彩色圖像方面存在問題。在MSR中，無法預(yù)測在處理圖像后產(chǎn)生的顏色是否正確。MSR存在與顏色靈敏度有關(guān)的問題。人們希望Retinex以一種類似于人類從某個角度看的方式來產(chǎn)生結(jié)果，并能夠像人類的頭腦那樣進行調(diào)整，從而找到有關(guān)顏色和其他方面的有關(guān)圖像的確切細節(jié)。因此，要獲得與人類視覺相同的結(jié)果，就必須使用一種技術(shù)，該技術(shù)可以提供具有適當色彩還原效果的結(jié)果，作為輸入圖像到輸出圖像。因此，為了克服MSR的這種局限性，學(xué)界提出了另一種方法，即具有顏色恢復(fù)功能的MSR(MSRCR)算法。

2.3 帶顏色恢復(fù)的MSR(MSRCR)

在使用MSR進行了增強后的灰度圖像中，它可以在少數(shù)全局或局部區(qū)域中使圖像變灰。因此，為了克服這個問題，需要一種可以處理顏色以保持圖像顏色的算法。盡管顏色恒定性對于人類視覺而言也不完美，但是在恢復(fù)方法中顏色恒定性可以接受。

在MSRCR中，基于原始圖像中的三色通道及其相對強度，為其引入權(quán)重。 在這種方法中，它對MSR進行改進，將MSR輸出乘以顏色恢復(fù)功能以達到目標。在MSRCR中，它將獲取輸入圖像，然后計算圖像的色彩恢復(fù)功能。計算色彩恢復(fù)功能后，需要對圖像執(zhí)行MSR操作。然后，在MSR的輸出處，它將與計算出的色彩恢復(fù)功能一起執(zhí)行乘法運算。因此顏色恢復(fù)因子為：

(11)

其中αi(m,n)是第i個光譜帶的色彩恢復(fù)系數(shù)，N表示光譜帶的數(shù)量。 (是輸入圖像的第i個光譜帶。 F( )是色彩空間的映射函數(shù)。通過將顏色恢復(fù)因子的公式(11)與公式(9)中的MSR相結(jié)合，可以得到MSRCR的公式如下：

Ri(m,n)=αi(m,n)RMSR(m,n)

(12)

通過式(12)，將能夠產(chǎn)生具有更好色彩還原效果的增強圖像。為了控制顏色的程度，在顏色恢復(fù)系數(shù)中引入了增益和偏移。

(13)

顏色恢復(fù)因子分別為Gf和Of，分別稱為增益和偏移。增益和偏移以某種方式控制恢復(fù)顏色的程度，從而影響輸出圖像顏色的恢復(fù)。

與之前的圖像增強方法相比，它是一種更好的方法，但是此方法的問題在于，它需要控制色彩恢復(fù)的增益程度和偏移值。在MSRCR中，增益和偏移的值可能會導(dǎo)致信息丟失，因此需要一種適當?shù)姆椒▉硖幚碓鲆婧突謴?fù)過程的偏移，以便可以從MSRCR獲得有效的結(jié)果。

2.4 改進的RETINEX圖像增強

基于Retinex的方法主要有兩個步驟，分別是照度估算和照度歸一化。其中的關(guān)鍵問題是需要準確地收集背景照度。如果有相似背景的相鄰幀，那么就可以提高照度估算的準確性。在這種方法中將更加專注于照度估算，以便在圖像上準確執(zhí)行Retinex。借助具有不同參數(shù)和尺度的高斯掩?？梢赃^濾圖像。過濾后，利用最小值法對結(jié)果進行混合。在這種方法中，利用視頻圖像幀的相似性和關(guān)系，借助最大值方法，可以計算出所有幀的光學(xué)背景。為了增強圖像，使用這種光學(xué)背景進行Retinex處理，因為它具有均勻的照度。可以從Retinex理論推論得出，圖像照度估計的準確性會導(dǎo)致增強輸出圖像的質(zhì)量提高。

在這種方法中，首先從視頻中獲取連續(xù)的圖像幀，或者獲取相同或相近的圖像以提取背景。然后，在所有這些圖像上，借助多尺度高斯掩模過濾器進行濾波，以便可以有效地獲取所有圖像的照度。在對同一圖像應(yīng)用高斯掩模后，以最小法在濾波步驟之后混合輸出。然后，將獲得相應(yīng)的輸入圖像的唯一結(jié)果。在所有唯一輸出上，使用最大方法并通過混合所有背景形成均勻的背景圖像。完成該過程后，它將以某種形式提供輸出，將獲得圖像的照度。在估計的照度和輸入圖像上取兩者的對數(shù)，然后從圖像中減去照度。將得到反射率的對數(shù)，然后計算輸出的指數(shù)，獲得輸出結(jié)果，這就是質(zhì)量提高了的圖像。

在此算法中，有3個主要步驟：

(1)利用多尺度高斯掩模提取不同尺度和方差的背景。

(2)使用最大值法混合圖像相鄰幀的光照，即從所有給定輸入的輸出中取最大值。

(3)利用Retinex方法對輸入圖像進行增強，計算出輸入圖像的照度。

經(jīng)過該算法的應(yīng)用，隨著圖像背景提取精度的提高，可以使圖像得到更好的增強。在該方法中，主要研究的是圖像和背景的照度估計。在對圖像進行光照估計后，利用Retinex的基本方法在經(jīng)過處理后的輸出中找到增強后的圖像。

2.5 夜間MSR的改進

這種方法是基于原始MSR的改進。基本的MSR對于相機在低光照區(qū)域捕獲圖像時產(chǎn)生的噪聲非常敏感。原始MSR所提供的圖像效果在這些方面并不令人滿意。在MSR中使用增益偏移會導(dǎo)致夜間圖像上的數(shù)據(jù)丟失。

而夜間MSR改進法中，對MSR方法進行了一些修改，即用自定義的Sigmoid函數(shù)代替了對數(shù)函數(shù)。使用Sigmoid函數(shù)，可以最大程度地減少數(shù)據(jù)丟失，還可以使MSR適應(yīng)夜間拍攝的圖像。夜間拍攝的圖像難以增強，因為它必須處理不同的光照條件。MSR使用增益偏移量來裁剪圖像中過高或過低的像素。因此，在夜間，通過增益偏移而拍攝的圖像中，可能會導(dǎo)致數(shù)據(jù)丟失和某些假象的形成。自定義的sigmoid函數(shù)用于從一開始就刪除不確定的值范圍。在Sigmoid函數(shù)中，不需要增益偏移，并且對于極端像素，它會壓縮它們而不是削波此類像素，因此數(shù)據(jù)丟失將盡可能少。所以，使用的Sigmoid函數(shù)具有很好的邊界。

自定義的Sigmoid函數(shù)可以表示為：

(14)

其中，k表示斜率。k的值越大，Retinex對k的敏感度越高。參數(shù)b和c的存在是為了確保Sigmoid曲線必須經(jīng)過特定點并在特定點處結(jié)束。使用sigmoid函數(shù)后，MSR方程可寫為：

{Sog[Ii(m,n)]-Sig[Ii(m,n)]*Mj(m,n)]}

(15)

其中I表示輸入圖像，M表示環(huán)繞功能，R表示輸出。

在這種方法中，在遵循原始Retinex的完整步驟下，只需要進行微小的更改，即使用定制的Sigmoid函數(shù)代替對數(shù)函數(shù)來計算高斯濾波器卷積后的照度值，原始圖像以及用于減法的原始圖像。最后，還必須計算所有尺度結(jié)果下的加權(quán)總和，以提供輸出。

此方法可用于夜間或正常時間拍攝的圖像，以獲取增強的圖像。由于它使用了定制的Sigmoid函數(shù)，因此不存在像素會丟失數(shù)據(jù)的困擾，因為它僅是對數(shù)據(jù)進行壓縮而不是對其進行裁剪。

3 比較

基于Retinex理論的圖像增強算法各有利弊，將討論使用Retinex理論進行圖像增強的方法之間的差異。在表1中，比較各方法及其之間的區(qū)別。

表1 方法之間的差異

由表1可見，SSR只能提供總再現(xiàn)或壓縮動態(tài)范圍。MSR可以在增強后提供圖像的動態(tài)范圍的總再現(xiàn)和壓縮，這是由于使用了多尺度高斯函數(shù)，其大小導(dǎo)致了總再現(xiàn)和動態(tài)范圍的壓縮。MSR可以提供兩種質(zhì)量的結(jié)果，但是它不能像輸入圖像一樣形成輸出的顏色。因此，為了克服這一問題，使用了另一種方法來實現(xiàn)色彩還原功能，即MSRCR。在這種方法中，它使用恢復(fù)功能來恢復(fù)與輸入圖像相似的顏色的圖像輸出。IRIE專注于精確計算圖像的照度。它基于Retinex的基本原理，從圖像中減去照度以獲得增強的輸出。在MSRINTE中，使用自定義的Sigmoid函數(shù)來改善夜間拍攝的圖像質(zhì)量，因為在夜間圖像的增強中，原始MSR由于使用對數(shù)函數(shù)對圖像會產(chǎn)生過低或過高剪切強度，導(dǎo)致數(shù)據(jù)丟失，但S型函數(shù)只是壓縮數(shù)據(jù)而不是剪切數(shù)據(jù)。所有這些基于Retinex的方法都互不相同，它們都有其獨特的優(yōu)勢和圖像增強方法，可以根據(jù)需要進行選擇。

4 小結(jié)

可以選擇MSR而不是SSR，因為它既可以提供高質(zhì)量的總再現(xiàn)效果，也可以提供圖像中動態(tài)范圍的壓縮效果。MSR非常適合用于灰度圖像，因此，在處理灰度圖像時，MSR的性能非常好。但是對于彩色圖像，MSR無法生成與物理視點相同顏色的圖像，因此在處理彩色圖像時，MSRCR比MSR更好。當且僅當人們正在處理視頻時，IRIE是更好的方法，因為視頻具有IRIE要求的具有相似背景的連續(xù)幀。在處理夜間圖像時，MSRINTE是一種更好的方法，因為它可以處理過低和過高的強度，并且可以在像素數(shù)據(jù)丟失最少的情況下增強圖像。