色度亮度協(xié)同濾波的色調(diào)映射算法

朱世松，秦 嬴，鄭艷梅，蘆碧波

(河南理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，河南 焦作 454000)

1 引 言

在真實物理環(huán)境中，亮區(qū)和暗區(qū)之間的亮度跨度極大。亮區(qū)亮度值可達(dá)102cd/m2，暗區(qū)的亮度值只有10-3cd/m2，亮暗場景之間的動態(tài)范圍比值更達(dá)到108∶1[1]。高動態(tài)范圍(High dynamic rang，HDR)圖像是可以同時有效涵蓋亮暗區(qū)域的圖片，并保留真實的細(xì)節(jié)信息。但現(xiàn)存絕大部分顯示設(shè)備亮度范圍僅有102，無法直接顯示HDR圖像。為了解決該問題，需要運用色調(diào)映射這一軟件技術(shù)[2]，以避免花費巨資大批量更換硬件設(shè)備。

色調(diào)映射技術(shù)主要對高動態(tài)范圍圖像進(jìn)行亮度范圍壓縮，并有效顯示圖像的對比度、細(xì)節(jié)、色彩等信息?，F(xiàn)有色調(diào)映射算法主要分為3大類：全局色調(diào)映射、局部色調(diào)映射和混合色調(diào)映射。全局色調(diào)映射是對圖像整體做出映射改變。Khan等人[3]提出使用亮度直方圖構(gòu)造查找表(LUT)用于色調(diào)映射，該算法通過構(gòu)造直方圖，利用人類視覺系統(tǒng)的特點加強視覺識別強度，算法復(fù)雜度低，能較好地顯示圖像。Yang等人[4]提出一種三步自適應(yīng)圖像動態(tài)范圍調(diào)整算法，利用兩個Gamma函數(shù)來調(diào)整該亮度，最后再進(jìn)行融合，可以有效壓縮圖像的動態(tài)范圍，圖像對比度好。全局色調(diào)映射算法復(fù)雜度較低，但整體關(guān)聯(lián)性高造成局部細(xì)節(jié)信息減弱。局部色調(diào)映射根據(jù)像素值之間的關(guān)系以及亮度范圍的不同對圖像進(jìn)行區(qū)域映射。Kou等人[5]提出一種梯度域引導(dǎo)濾波結(jié)合一階邊緣感知約束算法，可以更好地保留邊緣，降低光暈的現(xiàn)象。蘆碧波等人[6]提出一種改進(jìn)的多尺度Retinex色調(diào)映射算法，運用引導(dǎo)濾波對亮度信息進(jìn)行分層，經(jīng)過一系列粗化圖像將反射層進(jìn)行分解重構(gòu)。馮維等人[7]提出一種改進(jìn)的梯度域和色彩校正模型的自適應(yīng)色調(diào)映射算法，對亮度使用了高斯金字塔以及泊松方程，同時利用顏色校正技術(shù)，可以改善顏色的色偏問題。局部色調(diào)映射輸出圖像的對比度、細(xì)節(jié)等方面都得到了較好的增強，但算法復(fù)雜度較高，同時會產(chǎn)生輪廓虛假、光暈偽影等現(xiàn)象[8]?；旌仙{(diào)映射的提出是為了解決全局映射對比度較低和局部映射復(fù)雜度高的問題而融合的映射算法。Ok等人[9]將自適應(yīng)參考值和差分壓縮相結(jié)合提出一種混合色調(diào)映射算法，使用質(zhì)量度量方法來保留明暗區(qū)域的細(xì)節(jié)。邵華等人[10]提出一種人眼感知驅(qū)動的成分分解色調(diào)映射算法，首先對全局亮度使用非線性校正函數(shù)，再通過引導(dǎo)濾波對圖像進(jìn)行分層處理。現(xiàn)有的色調(diào)映射技術(shù)主要是通過處理圖像亮度信息解決難以顯示問題，并提高圖像的局部細(xì)節(jié)，但在色彩方面，由于沒有有效地分離出顏色信息，處理方法通常較為簡單。

針對上述問題，本文在色度亮度(Chromaticity brightness，CB)顏色空間中提出了一種基于協(xié)同濾波的色調(diào)映射算法。該算法首先將HDR圖像通過CB顏色空間提取出亮度信息和色度信息，運用雙邊濾波技術(shù)分解亮度信息并重構(gòu)，運用協(xié)同濾波技術(shù)對色度信息分解并重構(gòu)。在對高動態(tài)范圍圖像進(jìn)行范圍壓縮的同時，可以更好地保持圖像中的細(xì)節(jié)和邊緣信息以及提高色彩質(zhì)量。

2 色度亮度協(xié)同濾波的色調(diào)映射算法

2.1 流程算法

現(xiàn)有的基于分解的色調(diào)映射算法中，主要是對亮度信息進(jìn)行分解和重構(gòu)，顏色信息采用簡單的RGB三通道等比例伽馬校正進(jìn)行處理，其比例值取決于映射前后的亮度比值。這樣的計算方式無法有效對圖像的顏色進(jìn)行增強等處理。為此，本文在色度亮度空間中將亮度和色度信息進(jìn)行有效分離，并設(shè)計算法同時對這兩種信息進(jìn)行分解和重構(gòu)，得到色調(diào)映射之后的圖像。算法流程圖如圖1所示。

2.2 CB顏色空間

彩色圖像在RGB顏色空間中表示方式如下：

I:Ω→R3={r(x,y),g(x,y),b(x,y)}，

(1)

在采集和傳輸圖像數(shù)據(jù)的過程中，通常會產(chǎn)生噪聲和模糊。RGB顏色空間實現(xiàn)過程簡單、處理速度快。但由于彩色圖像中的RGB三個通道之間相互有著很高的關(guān)聯(lián)性，將其分開處理可能會導(dǎo)致最終的圖像出現(xiàn)失真的現(xiàn)象，降低輸出圖像的質(zhì)量[11]。為有效分離顏色和亮度信息，本文采用式(2)、(3)將HDR圖像分為亮度信息B和色度信息C：

(2)

(3)

其中：I表示輸入色彩圖像，B表示在RGB顏色上向量的長度，C表示單位長度上的色彩信息。圖2給出對一個HDR圖像在CB顏色空間中進(jìn)行分解之后得到的亮度和色度信息。圖2(a)是對HDR圖像進(jìn)行線性顯示的結(jié)果，圖2(c)中可以看到原圖中包含的天空、樹木等豐富顏色信息。

圖2 HDR圖像的CB顏色分解

2.3 亮度信息處理

2.3.1 歸一化

人類視覺系統(tǒng)對亮度的感知與對數(shù)域形式相近，因此將亮度信息轉(zhuǎn)化至對數(shù)域。由公式(2)獲取HDR圖像的亮度信息后，將亮度信息轉(zhuǎn)化至對數(shù)域。為了后續(xù)數(shù)據(jù)處理的方便，需要將對數(shù)域處理過的亮度進(jìn)行歸一化，處理公式如下：

(4)

其中：B為輸入圖像亮度信息，Bmax和Bmin分別是亮度信息的最大值和最小值。

2.3.2 雙邊濾波

為了使圖像的邊界部分保持清晰，細(xì)節(jié)更加明顯，本文運用雙邊濾波技術(shù)對亮度信息進(jìn)行分解。非線性雙邊濾波是Tomasi[12]等人提出的，是一種可以有效去噪保邊的加權(quán)均值濾波器。權(quán)重項系數(shù)分為兩部分，即幾何空間距離權(quán)重項和強度差值權(quán)重項。離待處理像素越近的像素點，幾何空間距離權(quán)重項越大。與待處理像素值越相近的像素點，強度差值權(quán)重項越大。在亮度信息中，將空間距離權(quán)重項表示為Gs，強度差值權(quán)重項表示為GB：

(5)

(6)

其中：y是濾波窗口內(nèi)鄰域像素點的坐標(biāo)；x是待測像素點的坐標(biāo)；IB(y)是窗口內(nèi)鄰域像素值；IB(x)是待測像素值；σs和σr分別是空間距離權(quán)重項和強度差值權(quán)重項的標(biāo)準(zhǔn)差，根據(jù)圖像的大小以及歸一化后的邊緣幅度，取σs為圖像對角線長度的1‰，σr為0.1。最終的濾波輸出結(jié)果為：

(7)

其中：BF是濾波后結(jié)果，歸一化系數(shù)Wx為濾波窗口內(nèi)兩個不同權(quán)重項的乘積和，如公式(8)所示：

(8)

2.3.3 亮度分層與重構(gòu)

通過濾波獲得的結(jié)果圖包含著圖像的基本結(jié)構(gòu)信息，因此該結(jié)果為亮度基本層，根據(jù)亮度基本層和歸一化后的亮度信息進(jìn)行計算得到亮度細(xì)節(jié)層，亮度基本層和亮度細(xì)節(jié)層獲取公式如式(9)和式(10)所示：

Bbase=BFB(B0)，

(9)

Bdetail=B0-Bbase，

(10)

其中：B0為歸一化后的亮度B[0,1]，Bbase是亮度基本層，Bdetail是亮度細(xì)節(jié)層。將亮度基本層與亮度細(xì)節(jié)層進(jìn)行加權(quán)并完成亮度信息的重構(gòu)，公式為：

Bout=WB1Bbase+WB2Bdetail，

(11)

其中：WB1是亮度基本層權(quán)重值，WB2是亮度細(xì)節(jié)層權(quán)重值。為了實現(xiàn)圖像的動態(tài)范圍壓縮并保持良好的細(xì)節(jié)信息，WB1和WB2需滿足以下公式：

0

(12)

(13)

亮度信息歸一化結(jié)果、基本層、細(xì)節(jié)層和亮度重構(gòu)結(jié)果如圖3所示。對比圖3(a)和圖3(d)可以看出，亮度重構(gòu)后山川和樹林的小細(xì)節(jié)都能更加清晰的表現(xiàn)出來。

2.4 色度信息處理

2.4.1 協(xié)同濾波

理論上，色度信息濾波可以采用與亮度信息相同的方法實現(xiàn)，即使用雙邊濾波對色度信息進(jìn)行處理，但實際處理中發(fā)現(xiàn)效果不佳，主要表現(xiàn)為圖像模糊現(xiàn)象較為嚴(yán)重。產(chǎn)生此問題的主要原因在于色度長度均為1，像素之間的差異較小。

經(jīng)對比觀察圖2和圖3，發(fā)現(xiàn)歸一化之后的亮度圖3(a)和色度圖2(c)之間在大尺度邊緣具有視覺一致性。為此，本文考慮綜合利用色度信息和亮度信息，設(shè)計如下的色度亮度協(xié)同方法進(jìn)行濾波：

(14)

其中與權(quán)重相關(guān)的歸一化系數(shù)Wx、幾何空間距離權(quán)重項Gs、亮度強度差值權(quán)重項GB與前文一致，但這些權(quán)重被用來對色度信息Ic(y)進(jìn)行加權(quán)處理。上述公式綜合利用亮度色度信息進(jìn)行協(xié)同濾波，與雙邊濾波方法相比是有所不同的。在色度信息上使用雙邊濾波，其強度差值權(quán)重項是由色度本身的像素值計算得到。而在色度信息上使用協(xié)同濾波，其強度差值權(quán)重項是由亮度信息的像素值計算得到，再與色度信息上的像素值進(jìn)行相乘，充分利用亮度信息對色度進(jìn)行協(xié)同濾波。圖4給出了兩種方案的濾波結(jié)果對比，從圖中可以看出協(xié)同濾波技術(shù)更好地顯示了山川與天空的邊界、樹葉等處的細(xì)節(jié)。

2.4.2 色度分層與重構(gòu)

對于輸入色度信息和濾波后色度信息，按照式(15)、(16)得到色度基礎(chǔ)層Cbase和色度紋理層Ctexture：

Cbase=BFc(C)，

(15)

Ctexture=C-Cbase.

(16)

圖5給出了分別使用色度雙邊濾波和協(xié)同濾波得到的紋理層結(jié)果圖。從圖中可以看出，通過協(xié)同濾波得到的紋理層，更好地維持了邊緣色彩細(xì)節(jié)，從顏色上可以更好地區(qū)分出山川和樹林。

將色度基礎(chǔ)層與色度紋理層進(jìn)行加權(quán)和來完成色度信息的重構(gòu)，公式如下：

Cout=WC1Cbase+WC2Ctexture，

(17)

其中：WC1是色度基礎(chǔ)層權(quán)重值，WC2是色度紋理層權(quán)重值。為了提高圖像顏色細(xì)節(jié)信息并使圖像色彩鮮艷，WC1和WC2需滿足以下公式：

1

(18)

圖6給出了分別使用色度雙邊濾波和協(xié)同濾波得到的基礎(chǔ)層和紋理層重構(gòu)，其中紋理層權(quán)重系數(shù)采用了較大的值。觀察圖6和圖2，協(xié)同濾波的重構(gòu)結(jié)果圖6(b)與圖2(c)相比，山川、樹林顏色細(xì)節(jié)都已經(jīng)有了明顯的提高。而色度信息與亮度信息融合后可以發(fā)現(xiàn)，使用色度雙邊濾波會造成顏色的不正常變化，如圖7(c)所示，小區(qū)域樹林的邊緣產(chǎn)生藍(lán)色現(xiàn)象，產(chǎn)生這種現(xiàn)象主要是因為在色度雙邊濾波的過程中像素受到了周圍像素顏色的影響。

圖6 不同方法的重構(gòu)結(jié)果

圖7 不同方法的輸出圖像

2.5 色彩轉(zhuǎn)化

根據(jù)上述步驟處理后，得到重構(gòu)后的亮度信息和色度信息。采用如下公式將新的亮度信息和色度信息融合作為最終的映射結(jié)果。

LR=Bout×CRout，

(19)

LG=Bout×CGout，

(20)

LB=Bout×CBout，

(21)

其中：Bout為色調(diào)映射后的亮度值，CRout、CGout、CBout為色調(diào)映射后不同通道的色度值。

3 實驗結(jié)果與分析

通過實驗發(fā)現(xiàn)，本文算法分別對HDR圖像的色度信息和亮度信息進(jìn)行分解和重構(gòu)，輸出的圖像可以取得較好的視覺效果。實驗數(shù)據(jù)集包含123張HDR圖像，分布來源于Anyhere Software網(wǎng)站(www.anyhere.com/gward/hdrenc/pages/orignals.html)和MCSL網(wǎng)站(http://www.cis.rit.edu/research/mcsl2/icam/hdr/rit_hdr/)。經(jīng)大量實驗的分析與測試，確定亮度基本層系數(shù)為0.4，亮度細(xì)節(jié)層系數(shù)為1.8，色度基礎(chǔ)層系數(shù)為1.6，色度紋理層系數(shù)為1.3，該系數(shù)對于大部分HDR圖像都可以產(chǎn)生較好的結(jié)果，較好結(jié)果的圖像達(dá)到實驗總圖像的86%。本文選取了文獻(xiàn)[13]、文獻(xiàn)[14]和文獻(xiàn)[15]中的色調(diào)映射算法和本文的算法進(jìn)行實驗結(jié)果的對比和客觀質(zhì)量指標(biāo)的分析。對比算法中文獻(xiàn)[13]、文獻(xiàn)[14]和文獻(xiàn)[15]的算法參數(shù)為相關(guān)文獻(xiàn)中提出的默認(rèn)參數(shù)。

3.1 實驗結(jié)果對比

圖8所示是第一組圖像的實驗結(jié)果圖。從文獻(xiàn)[13]算法結(jié)果可以看出，圖像整體邊界虛化，墻上畫的邊緣未得到較好的恢復(fù)，產(chǎn)生了扭曲狀態(tài)。從文獻(xiàn)[14]算法結(jié)果可以看出，圖像保留了較好的細(xì)節(jié)，但部分地方成片狀黑。從文獻(xiàn)[15]算法結(jié)果可以看出，圖像整體亮區(qū)和暗區(qū)之間差距過大，亮區(qū)細(xì)節(jié)無法展現(xiàn)出來，屋頂上的燈看不出其輪廓。從本文算法結(jié)果可以看出，圖像恢復(fù)較為自然，色澤明亮，沒有出現(xiàn)過亮或者過暗的部分，從局部的畫和燈可以看出紋理信息表達(dá)清晰。

圖9所示是第二組圖像的實驗結(jié)果圖。從文獻(xiàn)[13]算法結(jié)果可以看出，通過色調(diào)映射算法顯示出了完整的圖像信息，但整體邊緣模糊，開關(guān)和窗戶的紋理細(xì)節(jié)較弱。從文獻(xiàn)[14]算法結(jié)果可以看出，圖像邊緣細(xì)節(jié)處理較好，但顏色不均勻，墻體大部分是黑色的暗粒。從文獻(xiàn)[15]算法結(jié)果可以看出，圖像整體顏色未恢復(fù)到自然色彩，暗區(qū)和亮區(qū)部分細(xì)節(jié)丟失，例如開關(guān)處處于曝光狀態(tài)，而窗簾處紋路模糊不清。從本文算法結(jié)果可以看出，圖像整體色澤柔和，沒有呈現(xiàn)出某區(qū)域過增強或者欠增強的現(xiàn)象，開關(guān)和窗框紋理清晰可見，且沒有失色。

圖9 第2組圖像色調(diào)映射算法結(jié)果對比

圖10所示是第三組圖像的實驗結(jié)果圖。從文獻(xiàn)[13]算法結(jié)果可以看出，圖像顏色恢復(fù)較好，但整體細(xì)節(jié)感較差，手部和窗簾較為模糊，部分紋理沒有顯示出來。從文獻(xiàn)[14]算法結(jié)果可以看出，圖像整體細(xì)節(jié)信息都被很好地保留下來，但仍存在顏色恢復(fù)不均勻問題，暗粒較多。從文獻(xiàn)[15]算法結(jié)果可以看出，圖像整體顏色恢復(fù)均勻，但亮區(qū)出現(xiàn)曝光的現(xiàn)象，導(dǎo)致窗簾的形態(tài)未被顯示出來。從本文算法結(jié)果可以看出，圖像色彩鮮明，具有較好的局部對比度，局部中的手和窗簾的邊界都清晰可見。

圖10 第3組圖像色調(diào)映射算法結(jié)果對比

圖11所示是第四組圖像的實驗結(jié)果圖。從文獻(xiàn)[13]算法結(jié)果可以看出，圖像整體偏暗，墻上的字和安全指示燈恢復(fù)較完整，但存在邊緣模糊的現(xiàn)象。從文獻(xiàn)[14]算法結(jié)果可以看出，圖像顏色完整地顯現(xiàn)出來，但還是存在顏色不均勻的現(xiàn)象，墻上的字清晰可見，但安全指示燈出現(xiàn)了較為強烈的光暈現(xiàn)象。從文獻(xiàn)[15]算法結(jié)果可以看出，圖像整體偏亮，部分區(qū)域過亮掩蓋了細(xì)節(jié)，但安全指示燈恢復(fù)的較好，邊界清晰。從本文算法結(jié)果可以看出，圖像整體恢復(fù)較好，大部分邊緣都保留了下來，但安全指示燈與文獻(xiàn)[14]算法結(jié)果中的一樣，出現(xiàn)了較為強烈的光暈現(xiàn)象，沒有文獻(xiàn)[13]和文獻(xiàn)[15]的算法效果好。

圖11 第4組圖像色調(diào)映射算法結(jié)果對比

3.2 客觀質(zhì)量指標(biāo)對比

為了更加客觀地對比色調(diào)映射后圖像的結(jié)果，本文采用了Yeganeh等人[16]提出的關(guān)于色調(diào)映射圖像的客觀質(zhì)量評價(TMQI)方法對色調(diào)映射算法結(jié)果進(jìn)行對比分析。該客觀質(zhì)量評價方法中包含3個評價指標(biāo)，分別為圖像質(zhì)量分?jǐn)?shù)(Q)、結(jié)構(gòu)保真度(S)和圖像自然度(N)。各指標(biāo)越接近于1，證明圖像客觀質(zhì)量越好。從表1中可以看出，在大部分情況下，本文算法結(jié)果的3個客觀指標(biāo)與文獻(xiàn)[13-15]算法結(jié)果相比分別有一定的提升，平均提高了25.24%，18.89%，45.89%。

表1 客觀質(zhì)量指標(biāo)對比

4 結(jié) 論

本文在CB顏色空間中提出了一種基于協(xié)同濾波的色調(diào)映射算法。首先將HDR圖像利用CB顏色空間提取亮度信息和色度信息，然后運用雙邊濾波技術(shù)來分解亮度信息并重構(gòu)，以此來增強圖像的細(xì)節(jié)，運用協(xié)同濾波技術(shù)來分解色度信息并重構(gòu)，來提高圖像的色彩質(zhì)量。實驗結(jié)果顯示，本文算法的輸出圖像顏色信息豐富，邊界信息保存完好，圖像質(zhì)量較高，主觀上符合人眼視覺效果，客觀指標(biāo)上也有所提升，在圖像質(zhì)量分?jǐn)?shù)、結(jié)構(gòu)保真度和圖像自然度上分別提高了25.24%，18.89%，45.89%。