基于移動最小二乘的高分辨HDR圖像色調(diào)映射算法

鄒瑞波，廖海泳

（汕頭大學(xué)工學(xué)院，廣東 汕頭 515063）

0 引言

高動態(tài)范圍成像（High Dynamic Range Imaging，簡稱HDRI或HDR），在計算機(jī)圖形學(xué)與電影攝影術(shù)中，是用來實(shí)現(xiàn)比普通數(shù)位圖像技術(shù)更大曝光動態(tài)范圍（即更大的明暗差別）的一組技術(shù).高動態(tài)范圍成像的目的是要正確地記錄和重現(xiàn)真實(shí)場景中各區(qū)域的細(xì)節(jié)，特別是高亮區(qū)和暗區(qū).隨著技術(shù)的發(fā)展，很多成像設(shè)備都可以達(dá)到很高的分辨率，例如手機(jī)拍照的分辨率已經(jīng)可達(dá)2300萬像素，在這種情況下，高分辨率HDR圖像需要有一個有效和快速的算法.目前有各種各樣的HDR色調(diào)映射算法，然而很多算法不能同時兼顧保持細(xì)節(jié)信息和快速這兩個特點(diǎn).例如，基于簡單變換函數(shù)的算法如文獻(xiàn)[1]，雖然速度很快，但是由于壓縮亮度的同時也壓縮了細(xì)節(jié)的亮度，使得變換后邊緣細(xì)節(jié)信息不夠清晰.另一個方面，基于非線性變換的方法，如WLS算法[2]雖然能夠很好地重現(xiàn)細(xì)節(jié)信息，但是由于計算量極大，甚至不能實(shí)現(xiàn)，而不能應(yīng)用在高分辨率HDR圖像.本文提出的色調(diào)映射算法首先利用移動最小二乘提取光照分量，也就是在移動窗口中利用最小二乘法提取光照分量.接著根據(jù)成像模型對光照分量進(jìn)行壓縮，最后再恢復(fù)細(xì)節(jié)和色彩信息.實(shí)驗表明本文算法針對高分辨率HDR圖像能夠很好地保持和重現(xiàn)細(xì)節(jié)信息，而且速度比WLS算法快.

1 高分辨率HDR圖像色調(diào)映射

1.1 圖像分解與壓縮模型

根據(jù)成像模型[3]，圖像f（p）可以表示為：

其中p表示圖像像素的位置，i（p）為光照分量，r（p）稱為反射分量.即圖像在位置p的像素值由這兩者的乘積得到.光照分量i（p）的大小反應(yīng)了在自然場景中照射到物體的光能的多少.根據(jù)我們的日常經(jīng)驗可以知道，自然場景中的光照一般都是局部均勻，雖然有不同明暗的區(qū)別，但是從信號處理的角度看，所含的細(xì)節(jié)信息比較少.所以我們可以通過改變i（p）的值來壓縮圖像的亮度范圍，最終使得亮區(qū)和暗區(qū)的信息能夠同時較好地顯示出來.反射分量r（p）的幅值相比之下往往較小，但富含細(xì)節(jié)，能夠真實(shí)反映場景中的各種信息.因此這一分量的信息要盡量保存.

基于前面的理論分析，我們利用如下模型進(jìn)行壓縮，重建LDR圖像：

其中f′（p）為壓縮重建后的LDR圖像.c為壓縮系數(shù).根據(jù)冪函數(shù)的性質(zhì)[4]，我們可以知道當(dāng)c＞1時，將對暗區(qū)像素值進(jìn)行壓縮，同時放大亮區(qū)像素值范圍；反過來，當(dāng)c＜1時，將對暗區(qū)像素值范圍進(jìn)行放大，同時壓縮亮區(qū)像素值范圍，如圖1所示.通過大量的觀察我們發(fā)現(xiàn)絕大部分的HDR圖像像素值主要集中在灰度直方圖的左邊，而右邊的高像素值所占比例極少.圖2 Memorial的灰度直方圖就是一個經(jīng)典的例子.綜上可知，為了達(dá)到增強(qiáng)暗區(qū)細(xì)節(jié)對比度的效果，c的設(shè)置一般要在小于1.

圖1 冪函數(shù)

圖2 Memorial灰度直方圖

1.2 算法框架

我們先給出整個算法的主要步驟，再對關(guān)鍵步驟進(jìn)行解釋.

算法步驟如圖3所示

圖3 算法框架

在第二部分中我們利用移動最小二乘方法提取光照分量.移動最小二乘方法在下一節(jié)中將進(jìn)行詳細(xì)介紹.從圖2可以觀察到HDR圖像亮區(qū)的像素值比其他區(qū)大得多，而且亮區(qū)的像素在直方圖中所占比例非常小.根據(jù)這個特點(diǎn)，我們在第三部分中利用98%百分位數(shù)對高亮像素值進(jìn)行截斷，這樣可以有效的縮短動態(tài)域范圍，進(jìn)而達(dá)到壓縮的目的.

2 光照分量的提取

由于光照分量具有局部均勻的特點(diǎn)，如果采用傳統(tǒng)的平滑濾波器進(jìn)行濾波會導(dǎo)致邊緣模糊，從而使得重建后的圖像中邊緣有光暈的問題.為了避免這個問題，我們可以采用各種邊緣保持濾波器進(jìn)行提取，例如WLS濾波器[2]，雙邊濾波器[5]，TV濾波器[6]等.由于WLS濾波器具有很好的邊緣保持效果，下面主要介紹WLS濾波器的基本原理.

2.1 最小二乘濾波器

給定灰度圖像g（p），WLS濾波器通過求解來得到光照分量u（為了在下文避免符號容易混淆問題，這里使用u表示光照分量，而不是前面的i（p））.在式子（3）中第一項是數(shù)據(jù)保真項，用來保證u和g盡量接近，第二項是正則化項，用來控制所求u的平滑程度[7].是一個正則化參數(shù)， 越大則所求的光照分量u越平滑.而關(guān)于平滑權(quán)重的計算，我們參考了文獻(xiàn)[8]的方法，具體如公式4所示

其中I＝log（g）.ax，p（g），ay，p（g）分別表示在像素p位置求偏導(dǎo)數(shù).α取值一般在[1.2，2]的范圍.ε是一個很小的值，例如，ε＝10－4，甚至更小，主要用來避免零做除數(shù).式子（3）是一個二次型，對其求導(dǎo)可得到一個線性方程組

其中矩陣

這里下標(biāo)i，j表示圖像中的像素，N4（i）表示像素i的4-鄰域.u，g分別是光照分量和原圖像按列形成的列向量.系數(shù)矩陣A是一個大型的稀疏矩陣，其大小為N×N，對應(yīng)圖像的像素個數(shù)為N.圖4是N＝100時，系數(shù)矩陣A非零元素的分布模式.可以看到A是一個主對角帶狀的稀疏矩陣.值得一提的是，當(dāng)圖像分辨率為1000×1000時，矩陣A的大小為106×106.而現(xiàn)在日常生活中圖像分辨率至少是這個級別，甚至更大，所以WLS濾波器求解一個大型稀疏線性方程組將會更加困難.

求解大型稀疏方程組有迭代法[9]，直接法[10]兩大類.后面我們采用的是直接法求解.關(guān)于直接法，具體可參考方獻(xiàn)[11].

圖4 稀疏矩陣

2.2 移動最小二乘濾波器

基于WLS濾波器的色調(diào)映射方法具有很好的視覺效果，然而由于需要求解大型方程組，不適合高分辨率圖像.高分辨率圖像的像素個數(shù)一般可以達(dá)到107這個級別，如果直接對整個圖像進(jìn)行求解線性方程組，計算量相當(dāng)驚人，幾乎不可能實(shí)現(xiàn).受平滑濾波器[12]和圖像分塊處理算法[13]啟發(fā)，對高分辨率圖像，我們采用平滑濾波器的框架，在移動窗口里面進(jìn)行最小二乘濾波.具體如圖5所示，設(shè)置一個移動窗口，該窗口首先位于圖像的左上角，先在窗口里面利用式子（5）求出光照分量，再將窗口以步長h向右移動，接著求出新位置的光照分量，以此類推，一直到圖像的右邊邊界.然后窗口下移步長h，再從左到右移動濾波，重復(fù)之前步驟，直到窗口到達(dá)圖像的右下角.對于窗口移動過程中的重疊區(qū)域，我們采用加權(quán)平均的方式計算該重疊區(qū)域的像素值.

圖5 稀疏矩陣

為了驗證本文算法是否有效，我們將本文算的濾波效果與WLS濾波的效果進(jìn)行比較，具體見圖6.其中圖6（a）測試圖片來自文獻(xiàn)[2].（b）（d）（f）是 WLS 濾波的效果，（c）（e）（g）是移動最小二乘濾波的效果，可以看出本文算法可以達(dá)到WLS濾波器[2]的效果，這說明了本文算法的有效性.

圖6 對比WLS和本文算法對于邊緣保持的效果

在移動最小二乘濾波器算法里面需要設(shè)置兩個參數(shù)，一個是移動窗口的大小，一個是移動窗口的步長（同時決定了相鄰窗口的重疊區(qū)域）.下面討論這兩個參數(shù)的選擇對濾波效果和速度的影響.顯然，移動窗口的設(shè)置不能太小也不能太大，因為太小的話而導(dǎo)致重疊區(qū)域增多，從而影響整體的計算速度，相反，如果太大會增加在移動窗口中求解線性方程組的難度.移動窗口的步長會影響到相鄰窗口的重疊區(qū)域，例如，步長太大，則相鄰窗口的重疊區(qū)域太小，則可能會造成塊狀效應(yīng).反之，如果太小，則相鄰窗口的重疊區(qū)域較大，會增加一些不必要的計算量，從而影響計算速度.經(jīng)過實(shí)驗我們發(fā)現(xiàn)，只要相鄰移動窗口有至少百分之十的重疊區(qū)域就可以達(dá)到WLS濾波器的效果.為了更好地測試窗口大小對計算速度的影響，我們采用不同大小的窗口對圖6（a）進(jìn)行測試，在保證與WLS濾波器一樣效果和使用最長步長的情況下，表1列出了窗口大小和濾波計算時間的結(jié)果.可以看出當(dāng)窗口大小為200×200時或以下時，計算速度較快.使用這樣大小窗口的另一個好處是：在這種情況下，求解線性方程組不需要占用大量的內(nèi)存資源.

表1 不同窗口大小對計算時間的影響

3 實(shí)驗結(jié)果與分析

在實(shí)驗中本文采用的硬件設(shè)備為：Core i5-7200U，@2.50Hz雙核處理器，Nvidia GeForce 920MX（2GB）顯卡，8GB內(nèi)存.軟件環(huán)境為：Ubuntu16.04＋MATLAB.由于篇幅所限，下面展示兩幅具有代表性的HDR圖像及其測試效果，其中圖6（a）Oxford Church HDR圖像的分辨率為1 013×1 200.圖7（a）Narrow Path HDR圖像的分辨率為8 192×4 096.圖7（b）到圖7（d）分別是本文算法，WLS 算法[2]，雙邊濾波算法[5]處理后得到結(jié)果.可以看到，本文算法與WLS算法非常接近，而圖7（d）整體上細(xì)節(jié)沒有圖7（b）和圖7（c）清晰，特別是窗口玻璃上的細(xì)節(jié)，這是由于雙邊濾波器的邊緣保持效果沒有WLS濾波器好這一特點(diǎn)決定的，原因具體見文獻(xiàn)[2].同樣的，通過比較圖8（b）和圖8（c），我們可以觀察本文算法在細(xì)節(jié)方面明顯比雙邊濾波器清晰，特別是石頭后面遠(yuǎn)處的山這些區(qū)域.需要說明的是，由于圖8（a）Narrow Path HDR圖像的分辨率過高，WLS濾波器需要求解一個超大規(guī)模的線性方程組而導(dǎo)致內(nèi)存溢出，無法得到最終的結(jié)果.

最后，我們采用不同的HDR圖像進(jìn)行測試，比較3個算法的處理時間，結(jié)果如表2所示.當(dāng)圖像分辨率比較大時，本文算法的計算時間明顯比WLS算法少，而且能夠處理任意分辨率的HDR圖像，后者是WLS算法所做不到的.雖然雙邊濾波明顯比其他兩種算法快，但是從前面的實(shí)驗結(jié)果圖7，圖8可知基于雙邊濾波的算法整體上細(xì)節(jié)沒有比其他兩種算法清晰.

圖7 Oxford Church HDR圖像的算法效果比較

圖8 Narrow Path HDR圖像的算法效果比較

4 總結(jié)

近年來，隨著成像設(shè)備分辨率的不斷提高，高分辨率HDR圖像受到越來越多人的青睞.WLS算法是一個很優(yōu)秀的色調(diào)映射算法，然而對于高分辨率的HDR圖像，WLS算法由于需要求解超大規(guī)模的線性方程組而導(dǎo)致無法得到最終結(jié)果.本文提出的移動最小二乘濾波算法可以克服這一缺點(diǎn)，同時可以很好地保持圖像邊緣信息.實(shí)驗結(jié)果表明，本文中所提的色調(diào)映射算法能很好地保持圖像細(xì)節(jié)，能夠處理任意分辨率的HDR圖像.

表2 本文算法和WLS算法處理時間比較