基于Retinex算法的數(shù)字航空影像色彩校正研究

張爍，王鳳艷，王明常，吳翔

吉林大學(xué) 地球探測(cè)科學(xué)與技術(shù)學(xué)院，長(zhǎng)春 130026

0 引言

在攝影測(cè)量工作中，數(shù)字航空影像的獲取一直是最基本也是最關(guān)鍵的一步。高質(zhì)量影像會(huì)大大提高航空遙感影像建模、解譯等工作的質(zhì)量。然而，在影像獲取過程中，受大氣折光、相機(jī)性能等因素的影響，影像往往會(huì)發(fā)生色偏現(xiàn)象，使地物失去真實(shí)色彩。為解決這一問題，國(guó)內(nèi)外學(xué)者提出了很多方法：比如魏東等[1]提出了一種基于顏色校正和去模糊的水下圖像增強(qiáng)方法，張守權(quán)等[2]針對(duì)無人機(jī)三維重建后的紋理色差問題，提出了快速、高效的無縫紋理勻光方法。Yoon et al.[3]則提出了利用卷積稀疏編碼和Retinex模型中的稀疏表示來實(shí)現(xiàn)影像增強(qiáng)。王密等[4]通過勻光處理來使影像達(dá)到色彩平衡。然而這些方法只能一定程度地保證影像整體的色彩一致性，并不能使地物完全恢復(fù)其原有色彩。

筆者針對(duì)輕小型無人機(jī)拍攝的航空影像，在對(duì)其進(jìn)行勻光處理的基礎(chǔ)上，依據(jù)近距離拍攝的參考影像，對(duì)影像進(jìn)行色彩校正。并通過定性分析和定量分析，對(duì)比不勻光及Mask勻光、Wallis勻光和Retinex勻光后進(jìn)行色彩校正的結(jié)果，尋找校正結(jié)果與參考影像最為接近且能還原地物真實(shí)色彩的方法。

1 影像勻光算法

在遙感影像獲取過程中，由于內(nèi)部或外部環(huán)境等因素的干擾，會(huì)使得一幅影像各部分色調(diào)、亮度、對(duì)比度等存在不同程度的差異，這種現(xiàn)象稱之為不均勻光照現(xiàn)象[5]，為消除這種現(xiàn)象所做的處理稱為影像勻光，該方法能夠?yàn)楹罄m(xù)研究提供色彩一致、視覺效果統(tǒng)一的基礎(chǔ)性數(shù)據(jù)。勻光算法大體可分為3大類[6]：①基于加性噪聲模型的勻光算法(如Mask算法)；②基于統(tǒng)計(jì)方法的勻光算法(如Wallis算法)；③基于照度與反射率模型的勻光算法(如Retinex算法)。

1.1 Mask算法

Mask又稱模糊正像勻光法。由于不均勻光照，在像片曬印時(shí)，負(fù)片透明處曝光量多，不透明處曝光量少。Mask算法則對(duì)二者進(jìn)行補(bǔ)償，獲得照度均勻的影像。按照其原理，對(duì)于數(shù)字航空影像，數(shù)學(xué)模型可用式(1)進(jìn)行表述。

I′(x,y)=I(x,y)+B(x,y)

(1)

式(1)中：I′(x,y)表示原始影像，I(x,y)表示光照均勻的影像，B(x,y)則表示背景影像。不均勻光照的影像被認(rèn)為是光照均勻的影像疊加背景值所造成的，故而勻光的過程轉(zhuǎn)換為去除背景值的過程。背景影像的模擬有多種方法，由于其亮度分布的不規(guī)則性，很難用數(shù)學(xué)模型來表示，所以普遍采用低通濾波的方法來獲取代表亮度色調(diào)的低頻部分，將其作為背景影像。

高斯低通濾波器具有在空間域和頻率域誤差最為穩(wěn)定的特征，經(jīng)常被選為最佳的濾波器。數(shù)學(xué)模型如式(2)所示。

(2)

式(2)中：G(x,y)為濾波器處理后獲得的背景影像，x,y為像素坐標(biāo)，σ為截止頻率。通過高斯低通濾波器獲取背景影像后，用待校正影像與背景影像做相減運(yùn)算即可獲得理想條件下光照均勻的影像。為使處理后的影像灰度值在0～255之內(nèi)，還需要加上一個(gè)偏移值offset。同時(shí)它也決定了圖像處理后的平均亮度，該值一般取原影像的亮度均值。

I(x,y) =I′(x,y)-G(x,y) + offset

(3)

為避免由相減運(yùn)算造成的影像整體反差變小，還需要對(duì)圖像進(jìn)行拉伸，以增大整體反差。

(4)

式(4)中：I為勻光后未拉伸的影像，NI為拉伸處理之后的影像，V為拉伸系數(shù)，一般取-127～127。Mask算法雖可以較好地進(jìn)行勻光處理，但很容易產(chǎn)生光暈現(xiàn)象，且對(duì)于不同的影像，其高斯低通濾波器的截止頻率很難確定，只能依靠經(jīng)驗(yàn)值對(duì)影像進(jìn)行特定分析。一般的衛(wèi)星遙感影像截止頻率取80，本文根據(jù)實(shí)驗(yàn)確定輕小型無人機(jī)像片進(jìn)行高斯低通濾波的截止頻率為10。

1.2 Wallis算法

該算法，即運(yùn)用Wallis濾波器將待校正影像的灰度均值和方差映射到給定范圍內(nèi)，從而讓整幅影像不同位置的均值和方差趨于一致[7]，其數(shù)學(xué)模型如式(5)所示:

(5)

式(5)中：I(x,y)為勻光后的影像，I′(x,y)為原始影像，mi′和si′為原始影像的均值和標(biāo)準(zhǔn)差，mf和sf為參考影像的均值和標(biāo)準(zhǔn)偏差，b、c分別為方差擴(kuò)展常數(shù)與亮度系數(shù)，且b∈[0,1]，c∈[0,1]。當(dāng)b、c都取1的時(shí)候，便視為將mi′、si′強(qiáng)制歸結(jié)到mf、sf，則式(5)可變?yōu)橐韵滦问剑?/p>

(6)

該方法不但可以在增強(qiáng)局部反差的同時(shí)大大抑制噪聲，還具有較強(qiáng)的適應(yīng)功能。但缺點(diǎn)是對(duì)低亮度區(qū)域的增強(qiáng)效果并不顯著，同時(shí)還會(huì)產(chǎn)生“塊效應(yīng)”。

1.3 Retinex算法

Retinex算法是由美國(guó)E.H.Land[8]提出的一種基于照度與反射率模型的勻光算法。其主要思想是將待校正的原始影像看作是由入射光影像與反射光影像結(jié)合而成，如圖1所示。

圖1 Retinex算法示意圖Fig.1 Retinex algorithm diagram

將入射光影像記做L(x,y)，反射光影像記做R(x,y)，原始影像記做I′(x,y)，則Retinex算法數(shù)學(xué)模型可用式(7)表示。

I′(x,y)=L(x,y)·R(x,y)

(7)

我們將反射光影像作為物體真實(shí)情況的反映，只要能估計(jì)出入射光影像，將其消除，便能獲得亮度均勻的影像。將式(7)取對(duì)數(shù)。

logR(x,y)=logI′(x,y)-logL(x,y)

(8)

且令：

(9)

可得：

r(x,y)=i′(x,y)-l(x,y)

(10)

1.3.1 單尺度Retinex算法

入射光影像可以用高斯函數(shù)與原始影像卷積獲得[9]，則式(10)可變?yōu)椋?/p>

(11)

式(11)中： *表示卷積運(yùn)算，F(xiàn)(x,y)為高斯函數(shù)模型，σ為尺度參數(shù)，對(duì)于單尺度Retinex算法，σ一般取80～100之間，并且λ需滿足：

?F(x,y)dxdy=1

(12)

單尺度算法在σ取值較小時(shí)，色彩差別較大，而當(dāng)σ取值較大時(shí)，又會(huì)使圖像動(dòng)態(tài)壓縮范圍減小，從而丟失細(xì)節(jié)。為解決這一問題，又有學(xué)者提出了多尺度Retinex算法。

1.3.2 多尺度Retinex算法

多尺度Retinex (RMSR)算法[10]是將σ取大、中、小3個(gè)參數(shù)后，分別進(jìn)行單尺度運(yùn)算。然后再將結(jié)果進(jìn)行加權(quán)平均，權(quán)值一般取1。多尺度算法相較于單尺度具有更好的動(dòng)態(tài)壓縮范圍，還可以很好地保證圖像的質(zhì)量，使得圖像的細(xì)節(jié)和色彩更加真實(shí)。

1.3.3 帶色彩恢復(fù)的多尺度Retinex算法

對(duì)于彩色影像來說，只需對(duì)R、G、B三個(gè)通道分別進(jìn)行處理后再進(jìn)行合并，就可以獲得處理后的彩色影像。然而R、G、B三個(gè)通道之間是存在關(guān)聯(lián)性的[11]，這種分離式的操作會(huì)使得影像色彩失真。為解決這一問題，Jobson et al.[12]提出帶色彩恢復(fù)的多尺度Retinex(RMSRCR)算法。

該方法的基本思想即在多尺度算法的基礎(chǔ)上增加色彩恢復(fù)的步驟，首先在多尺度運(yùn)算之前計(jì)算一個(gè)色彩校正因子C。

(13)

式(13)中：N=3，代表R、G、B三個(gè)通道，Ii′(x,y)代表原始影像。然后對(duì)式(13)做對(duì)數(shù)處理

Ci(x,y)=β·log[α·Ci(x,y)]

(14)

式(14)中：α為調(diào)節(jié)參數(shù)，β為增益常數(shù)，參考以往研究[13]，當(dāng)α=125,β=-46時(shí)效果最好。隨后將多尺度計(jì)算結(jié)果乘上色彩校正因子即可獲得色彩恢復(fù)后的圖像。

RMSRCRi(x,y)=Ci(x,y)·RMSRi(x,y)

(15)

式中：i表示R、G、B三個(gè)通道。

2 基于參考影像的色彩校正

基于參考影像的色彩校正方法，實(shí)際上就是通過待校正影像上定標(biāo)點(diǎn)與參考影像定標(biāo)點(diǎn)的灰度值之差來擬合背景值，繼而消除背景值的過程。首先，應(yīng)獲取待校正影像上定標(biāo)點(diǎn)的灰度值，并記錄定標(biāo)點(diǎn)的像素坐標(biāo)；然后于參考影像上獲取定標(biāo)點(diǎn)的參考灰度值，取二者的差值；隨后通過最小二乘擬合得到灰度差與定標(biāo)點(diǎn)之間的多項(xiàng)式模型，確定背景曲面；最后代入每一個(gè)像素點(diǎn)的坐標(biāo)值，逐個(gè)像素改正，獲得校正后的影像。其中，定標(biāo)點(diǎn)的選取至關(guān)重要。

2.1 定標(biāo)點(diǎn)的選取

為建立適合的色彩校正模型，定標(biāo)點(diǎn)需要均勻地分布在整張圖像上，否則會(huì)產(chǎn)生較大的擬合誤差[14]。采用“九點(diǎn)法”，將影像平均劃分為9個(gè)區(qū)域，每個(gè)區(qū)域各取一個(gè)定標(biāo)點(diǎn)，以充分保證定標(biāo)點(diǎn)的均勻分布。

為擬合背景影像，需要獲取原始影像和參考影像上定標(biāo)點(diǎn)的灰度值和原始影像上定標(biāo)點(diǎn)的坐標(biāo)。對(duì)于灰度值的選取，不應(yīng)單單選取一個(gè)像素點(diǎn)，而是挑選影像上最具代表性的且僅含有一種地物的區(qū)域，找到其R、G、B三個(gè)通道上統(tǒng)計(jì)量最大的值作為定標(biāo)點(diǎn)的灰度值，以避免因地物較多所造成的灰度偏差。

對(duì)于坐標(biāo)，應(yīng)取所選區(qū)域內(nèi)有效點(diǎn)的坐標(biāo)均值。即在獲取定標(biāo)點(diǎn)灰度值后，設(shè)定一個(gè)閾值α(一般取20[4])。以灰度值為基準(zhǔn)，閾值上下浮動(dòng)的點(diǎn)都認(rèn)為是有效點(diǎn)。記定標(biāo)點(diǎn)灰度值為(R0,G0,B0)，則有效點(diǎn)表示為：

(R,G,B)=(R0±α,G0±α,B0±α)

(16)

最后，定標(biāo)點(diǎn)的坐標(biāo)為。

(17)

式(17)中：(xi,yi)為有效點(diǎn)的坐標(biāo)，n為有效點(diǎn)個(gè)數(shù)。

2.2 背景影像的擬合

在獲取相應(yīng)的定標(biāo)點(diǎn)位置信息后，建立背景擬合模型為：

(18)

式(18)中：f(x,y)為擬合的背景影像，aij為系數(shù)矩陣，(x,y)為原始影像像素坐標(biāo)。將定標(biāo)點(diǎn)坐標(biāo)與定標(biāo)點(diǎn)在原始影像和參考影像上的灰度值之差代入方程，按最小二乘法求解出模型系數(shù)，建立數(shù)學(xué)模型。最后將原始影像上的像素坐標(biāo)一一代入，求解出每一個(gè)像素的灰度改正值，達(dá)到色彩校正的目的。

I(x,y)=I′(x,y)-f(x,y)

(19)

式(19)中：I(x,y)為校正后影像，I′(x,y)為原始影像。

2.3 拼接縫的消除

為消除分塊處理后合并時(shí)出現(xiàn)的拼接縫，本文采用羽化法[15]來減弱拼接縫對(duì)整幅影像的影響。首先在拼接縫左右取一定范圍L，統(tǒng)計(jì)拼接縫兩側(cè)L內(nèi)的灰度差Δg，再確定改正寬度W。

W=K·L

(20)

式(20)中：K為改正參數(shù)，一般取0.8～1.5[16]。確定改正寬度后，則到拼接縫距離為d的像素的改正量可表示為:

(21)

由式(21)可對(duì)改正寬度內(nèi)每一個(gè)像素進(jìn)行修改，最終達(dá)到消除拼接縫的目的。

3 實(shí)驗(yàn)流程及結(jié)果分析

3.1 實(shí)驗(yàn)流程

盡管對(duì)數(shù)字航空影像進(jìn)行勻光處理可以一定程度地校正色彩，但是很難將地物恢復(fù)到其真實(shí)的色彩。僅通過參考影像擬合背景值[17]來進(jìn)行色彩校正雖可以使地物色彩更加真實(shí)，卻無法解決因光照不均勻而產(chǎn)生的局部色偏現(xiàn)象。本文采用先勻光，后校正的方法。將待校正原始影像分塊，并分為R、G、B三個(gè)通道，對(duì)每一塊影像的每個(gè)通道都在不勻光、Mask勻光、Wallis勻光和Retinex勻光下進(jìn)行色彩校正，合并3個(gè)通道的結(jié)果獲得彩色影像，合并分塊處理的影像，消除拼接縫。對(duì)比分析4組實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)流程如圖2所示。

圖2 實(shí)驗(yàn)流程圖Fig.2 Experimental flow chart

3.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)影像采用大疆精靈4A拍攝，航高120 m，相機(jī)焦距8.8 mm，像片尺寸為5 472×3 648，像元尺寸為0.002 63 mm，試驗(yàn)區(qū)面積約3 000 m2。

對(duì)原始影像、參考影像分別在不勻光、Mask勻光、Wallis勻光和Retinex勻光下進(jìn)行色彩校正的結(jié)果如圖3所示。

圖3 原始影像、參考影像及其色彩校正結(jié)果Fig.3 Original image, reference image and color correction results

3.2.1 定性分析

由圖3(a)、(b)可以看出，待校正原始影像相較于參考影像，色調(diào)更淺，亮度更高，樹木及草地的飽和度不夠，且丟失了很多紋理信息。由圖3(c)-(f)可以看出，經(jīng)過校正之后的影像，色調(diào)加深，亮度降低，飽和度提升，還原了部分紋理細(xì)節(jié)，相較于原始影像，更加接近地物真實(shí)色彩。其中，目視對(duì)比不勻光及3種勻光結(jié)果發(fā)現(xiàn)，不勻光直接進(jìn)行色彩校正的結(jié)果雖整體色彩較為接近參考影像，但會(huì)產(chǎn)生因光照不均勻造成的局部色偏現(xiàn)象，拼接縫消除效果不理想；Mask勻光后校正的效果較差，會(huì)產(chǎn)生局部亮度過高的情況；Wallis勻光后校正的效果在4種方法中可以最好地還原地物紋理信息，石路和草地的紋理更加明顯，但會(huì)出現(xiàn)飽和度過高的情況，使地物色彩偏離真實(shí)值；而Retinex勻光后校正結(jié)果的色調(diào)、亮度、飽和度都更貼合參考影像，同時(shí)還能保證地物的紋理信息，能較為真實(shí)地還原地物色彩，拼接縫消除效果最佳。

3.2.2 定量分析

定量分析分別采用局部定量分析和整體定量分析，局部定量分析采用色差(ΔE)[18]和直方圖相似度(S)[19]對(duì)影像中4種主要地物：磚路、石路、草地和灌木分別進(jìn)行評(píng)價(jià)，ΔE用來分析校正后影像與參考影像的色彩偏差，其值越小說明色彩越接近參考影像。S用來評(píng)價(jià)校正后影像與參考影像的相似程度，越接近于1則越相似。整體定量分析則采用標(biāo)準(zhǔn)差(STD)[4]和平均梯度(MG)[20]對(duì)整張影像進(jìn)行評(píng)價(jià)，STD用來描述校正前后影像整體色彩真實(shí)性的恢復(fù)程度，STD越小效果越好。MG用來反映紋理細(xì)節(jié)，越接近參考影像，校正效果越好。

局部定量色差(ΔE)分析見表1,局部定量相似度(S)分析見表2。

表1 局部定量色差分析

表2 局部定量相似度分析

進(jìn)一步繪制不同地物局部定量分析指標(biāo)圖，ΔE 、S分別見圖4(a)、(b)。

圖4 不同地物的ΔE、S Fig.4 ΔE and S of different ground objects

由圖4(a)可以看出，經(jīng)過色彩校正后影像的ΔE相較于原始影像的ΔE均有所降低，其中，Retinex勻光后校正影像的ΔE最小，4種地物的顏色最為貼合參考影像。而Mask勻光后校正和Wallis勻光后校正影像的ΔE大于不勻光校正后影像的ΔE，效果較差，且在草地、灌木等紋理復(fù)雜的自然地物上差異更加明顯。

由圖4(b)可以看出，校正后影像的S對(duì)于磚路、石路等紋理規(guī)則的人工地物效果更好，而對(duì)草地、灌木等紋理復(fù)雜的自然地物會(huì)產(chǎn)生較大偏差。Retinex勻光后校正影像的S最接近1，4種地物與參考影像最為相似。

整體定量分析結(jié)果如表3所示。

表3 整體定量分析

為進(jìn)一步分析結(jié)果，計(jì)算各校正方法相對(duì)于原始影像的STD縮小百分比，以及MG偏離值縮小百分比。不同方法的STD縮小百分比及MG偏離值縮小百分比如表4所示。

表4 STD縮小百分比及MG偏離值縮小百分比

進(jìn)一步繪制整體定量分析指標(biāo)圖， STD縮小百分比、 MG偏離值縮小百分比分別見圖5(a)、 (b)。

圖5 不同方法的STD縮小百分比及MG偏離值縮小百分比Fig.5 STD reduction percentage and MG deviation reduction percentage of different methods

從圖5(a)可以看出：Retinex勻光后校正結(jié)果的STD相較于原始影像縮小44.11%，校正效果提升最明顯，而Mask勻光后校正和Wallis勻光后校正的效果相對(duì)較差，其中Mask勻光后校正結(jié)果的STD僅縮小24.27%。由圖5(b)可以看出，Retinex勻光后校正結(jié)果的MG偏離值縮小78.74%，最貼近參考影像，校正效果最好，而Wallis勻光后校正結(jié)果由于紋理細(xì)節(jié)過于突出，MG偏離值縮小百分比達(dá)到 -179.41%，校正結(jié)果偏離參考影像。

4 結(jié)論

(1)基于局部定量分析，經(jīng)勻光處理后再進(jìn)行色彩校正的結(jié)果存在地物差異。磚路、石路等紋理規(guī)則的人工地物校正結(jié)果較好，ΔE較小，S較大，而草地、灌木等紋理復(fù)雜的自然地物則偏差較大。其中，Retinex勻光后校正的結(jié)果最為穩(wěn)定，各地物亮度均一，紋理明顯，對(duì)于4種地物的ΔE最小，與參考影像S最為接近，可以很好地反映地物真實(shí)色彩。而對(duì)石路、草地和灌木，Mask與Wallis勻光后校正的結(jié)果相對(duì)不勻光校正的結(jié)果較差。

(2)基于整體定量分析，Retinex勻光后校正結(jié)果相較于原始影像，標(biāo)準(zhǔn)差和平均梯度偏離值分別縮小44.11% 和 78.74%，最貼近參考影像，色彩也更接近真實(shí)地物，而Mask與Wallis勻光后校正的結(jié)果偏離參考影像，其中Wallis勻光后校正結(jié)果的地物紋理最為突出，產(chǎn)生色調(diào)過飽和現(xiàn)象，偏離真實(shí)地物。Retinex勻光后的色彩校正取得了較好的色彩校正結(jié)果，有利于航空影像的建模、解譯等工作。