HDRI合成中新的相機響應曲線算法

舒 妮，陳孝威

（貴州大學 計算機科學與信息技術(shù)學院，貴州 貴陽550025）

0 引 言

現(xiàn)實世界是一個動態(tài)范圍很大的場景。如正午日光與夜晚星光就相差高達10個亮度等級。這種大動態(tài)范圍的場景，對于目前已經(jīng)得到廣泛使用的CCD/CMOS這類圖像傳感器來說，很難獲得理想的圖像。太亮的區(qū)域，攝像機為飽和輸出。太暗的區(qū)域，從圖像中根本無法分辨出被攝對像。嚴重影響了基于圖像的后續(xù)處理技術(shù)的效果，如基于圖像的建模和繪制技術(shù)［1－2］，基于圖像序列的全景圖拼接技術(shù)［3－4］等。

高動態(tài)范圍圖像（high dynamic range image，HDRI）［5］是一種新的圖像格式，其記錄的數(shù)據(jù)正比于實際場景中對應點的實際亮度值，它可以逼真地描述亮度大范圍變化場景的光學信息，有效呈現(xiàn)自然世界的真實色彩。常見的HDRI存儲格式有Radiance的RGBE格式，ILM的OpenEXR格式，Pixar的log－encoded TIFF格式等［6］。本文采用32bit/pixel的RGBE格式存儲高動態(tài)范圍圖像。

高動態(tài)范圍圖像最常用的獲取方式是通過對同一場景不同曝光量圖像序列的合成。為此，我們需要根據(jù)場景不同區(qū)域的亮度調(diào)節(jié)曝光時間拍攝多幅圖像，一幅圖像只能逼真描述某一亮度范圍。然后采用高動態(tài)范圍圖像技術(shù)，將多幅圖像合成為一幅高動態(tài)范圍圖像，用這一幅圖像就可以逼真地描述亮度大范圍變化的場景。

1 高動態(tài)范圍圖像合成的基本原理

1.1 高動態(tài)范圍圖像合成的一般過程

高動態(tài)范圍圖像目前的獲取方式［7－11］主要是通過對同一場景不同曝光量圖像序列的合成。主要有以下兩個過程［12］：①通過圖像序列標定出相機響應曲線［13］，即獲得相機的曝光量H與圖像像素值V之間關(guān)系曲線。②通過相機響應曲線，求得真實場景亮度值E。由于曝光量H是場景亮度值E與曝光時間t的乘積，通過相機響應曲線，很容易求得場景亮度值E。

合成出的高動態(tài)范圍圖像，最終在低動態(tài)顯示設(shè)備（即普通顯示設(shè)備）或者高動態(tài)顯示設(shè)備上顯示出來?；玖鞒虉D如圖1所示。

圖1 高動態(tài)范圍圖像合成基本流程

本文主要研究高動態(tài)范圍圖像合成中的相機響應曲線擬合算法。

1.2 相機響應曲線的擬合

設(shè)像素值V與相機獲得的曝光量H之間具有如下關(guān)系

式中：f—— 一個非線性函數(shù)，i——圖像中像素位置的索引，j——圖像的索引。通常，曝光量越大，獲取的圖像像素值就越大。所以我們可以把函數(shù)f看成是一個單調(diào)增函數(shù)。

對式 （1）求反函數(shù)，得

因為Hij＝Ei△tj，其中Ei為相機在第i個位置接收到的照度，即場景的真實亮度?！鱰j為拍攝第j幅圖像時的曝光時間。則式 （2）可以表示為

兩邊同時取對數(shù)并令F（Vij）＝lnf－1（Vij），則

式中：△tj、Vij——已知的，F(xiàn)（Vij）、Ei——未知的，由于Vij是0－255的整數(shù)，所以我們只要計算出256個F（Vij）就可以了。我們通過求解最小二乘目標函數(shù) （5）來求解。

式中：M——圖像的幅數(shù)，N——采樣點的個數(shù)。為了使擬合的曲線更平滑，我們加入平滑項F" （v）＝F（v－1）－2F（v）＋F（v＋1）。由于像素值靠近0與255的像素點的曝光往往不夠穩(wěn)定［14］，因此可以加上一個三角權(quán)值函數(shù)來加以約束，其表達式為

形成的最終表達式為

在式 （7）中，需要求解的未知量為256個F（v）和N個lnEi，共256＋N個。

由式 （7）可知，每一幅圖像的每一個采樣點對應一個方程式，共有N＊M個方程式。設(shè)像素值128擁有單位曝光量，即F（128）＝0，則共有M＊N＋1個方程式。只要滿足式 （8）

則方程個數(shù)大于等于未知量個數(shù)，我們就可以用奇異值分解的方法求解這個最小二乘解，求解出相機的響應曲線，即F（V）。

采樣點的選取是非常微妙的。有學者提出，好的采樣點應具備以下一些特性［15］：①空間分布比較均勻。②盡量覆蓋圖像的所有亮度。③來自比較平滑的區(qū)域。

但通常很難獲得同時滿足這些條件的點。

目前一般采用隨機采樣并對采樣點加以梯度限制或者均勻分布采樣并對采樣點加以梯度限制對圖像序列進行采樣，這種采樣方式?jīng)]有充分利用每幅圖像像素信息及圖像序列之間像素值的關(guān)系，擬合出的相機響應曲線不夠平滑，而且隨著采樣點的變化曲線變化大，不穩(wěn)定。

1.3 高動態(tài)范圍圖像的合成

融合所有的M幅原圖像來計算每個像素照度值E的對數(shù)lnE

2 本文的相機響應曲線算法

相機響應曲線是相機獲得的曝光量H與圖像像素值V之間的關(guān)系曲線，是合成高動態(tài)圖像的關(guān)鍵技術(shù)。理想的相機響應曲線是平滑的，并且是單調(diào)不減的。目前，通常先對圖像采樣，然后利用相機響應曲線擬合算法擬合出相機響應曲線。這種方式?jīng)]有充分利用每幅圖像像素信息及圖像序列之間像素值的關(guān)系，擬合出的相機響應曲線不夠平滑，而且隨著采樣點的變化曲線變化大，不穩(wěn)定。

為了得到更加平滑的相機響應曲線，合成出高質(zhì)量的高動態(tài)范圍圖像，本文提出一種不需要對圖像序列采樣的相機響應曲線擬合技術(shù)。該技術(shù)先利用最小二乘法擬合出圖像序列中每幅圖像與第1幅圖像像素值之間的關(guān)系曲線，利用該曲線再一次采用最小二乘法擬合出相機響應曲線。

2.1 理論基礎(chǔ)

設(shè)同一場景不同曝光量的兩張圖像A和B，曝光時間分別為⊿ta和⊿tb，設(shè)⊿tb大于⊿ta。像素值V是隨相機獲得的曝光量H單調(diào)不減的，所以，圖像B中像素值應大于等于圖像A中相應位置像素的像素值。如果圖像B中像素值小于圖像A中相應位置像素的像素值，認為是噪聲點，應去除。

圖像A與圖像B是用不同的曝光時間獲得的同一場景的兩幅圖像。我們可以認為圖像B是在圖像A的基礎(chǔ)上延長一定曝光時間得到的圖像，因此我們可以認為圖像B中的像素值是圖像A中相應位置像素值的函數(shù)，通過曲線擬合，可以得到這兩張圖像像素值之間具有的關(guān)系曲線。同一場景曝光時間更長的圖像，都可以認為是在圖像A的基礎(chǔ)上延長一定曝光時間得到的圖像，獲得的像素值是圖像A中相應位置像素值的函數(shù)。這正是本文算法的理論基礎(chǔ)。

2.2 本文的相機響應曲線算法

彩色圖像紅、綠、藍3個通道相機響應曲線的擬合是一樣的，本文以紅色通道為例對本文的相機響應曲線擬合算法作詳細闡述。

設(shè)Q表示曝光時間按單調(diào)遞增排列的紅色通道的圖像序列，則

式中：vij——第j幅圖像中第i個位置的像素值，⊿tj——第j幅圖像的曝光時間，M——圖像總數(shù)，n——每幅圖像像素數(shù)。

我們先對圖像序列去除噪聲，噪聲點的判斷準則如下

即不滿足式 （10）的像素為噪聲。

設(shè)第j幅圖像與第1幅圖像對應位置i像素值之間的關(guān)系為hj（vi，1）

式中：vi，1——第1幅圖像中第i個位置的像素值，l——多項式次數(shù)，aj，k——多項式系數(shù)。設(shè)

采用最小二乘法求解式 （12），可解得使P最小的hj（v），即第j幅圖像與第1幅圖像像素值之間的關(guān)系曲線hj（v）。h1（v）＝v。

理想的關(guān)系曲線hj隨著v的增大先單調(diào)增加，當hj（v）增加到255時維持平衡不再變化。關(guān)系曲線通常在高像素值部分有小幅震蕩，我們可以根據(jù)此特性做細小調(diào)整。

擬合出圖像序列中每幅圖像與第1幅圖像像素值之間的關(guān)系曲線后，利用該曲線進行相機響應曲線擬合。

根據(jù)前面1.2節(jié)介紹的原理，在式 （7），用hj（v）（其中v為0～255）代替采樣點像素值Vij，可得

式中：⊿tj——拍攝第j幅圖像的曝光時間；F" （V）——一個平滑函數(shù)，其表達式為F" （V）＝F（V－1）－2F（V）＋F（V＋1）；w（V）是一個三角權(quán)值函數(shù)，其表達式見式 （6）；hj（v）是第j幅圖像與第1幅圖像像素值之間關(guān)系曲線，在本文實驗中，圖4（a）從下至上分別為圖像2（a）～圖2 （f）與圖像2 （a）的關(guān)系曲線hj（v）（1≤j≤6），橫坐標為像素值v，v的取值范圍為0～255，縱坐標為hj（v）的值。

Ev為相機在圖像序列第1幅圖像中像素值為v的像素接收到的照度；F（V）是需要求解的相機響應曲線，這兩者是需要求解的未知量。

我們設(shè)像素值128為單位曝光量，即F（128）＝0，只要滿足式 （8），就可通過奇異值分解的方法求解式 （13）得到解出相機響應曲線，即F（V）。

擬合出相機響應曲線后，根據(jù)式 （9）即可恢復出場景的高動態(tài)范圍圖像。

3 實驗及對比

圖2是同一場景的6幅圖像，紅、綠、藍3個通道像素值范圍都為0～255，曝光時間分別為1/250，1/125，1/60，1/30，1/15，1/8，圖像來源于 The Hebrew University of Jerusalem。

圖3（a）是采用隨機采樣并加以梯度限制的采樣技術(shù)，擬合出的R、G、B這3個顏色通道相機響應曲線 （采樣點個數(shù)為256），分別用虛線、實線、點劃線表示。橫坐標表示像素值V，縱坐標表示曝光量H的對數(shù)lnH。3個通道的相機響應曲線都不平滑，尤其是高像素值部分；圖3（b）是根據(jù)圖3（a）相機響應曲線合成出的高動態(tài)范圍圖像，從細節(jié)圖3（c）可以看出，窗外的柱子以及室內(nèi)燈光部分泛綠色。

按照本文算法，先利用圖像序列噪聲判斷準則對圖像序列去噪，然后利用最小二乘法擬合出圖像序列與圖像2（a）的關(guān)系曲線 （其中擬合的多項式次數(shù)l＝10），如圖4所示。圖中，橫坐標和縱坐標都表示像素值V。

圖4（a）～圖4（c）分別為紅、綠、藍3個顏色通道的關(guān)系曲線hj（v）；每幅圖中，從下至上分別為圖像2（a）～圖2 （f）與圖像2 （a）的關(guān)系曲線hj（v）（其中1≤j≤6）。

擬合出關(guān)系曲線hj（v）后，通過奇異值分解的方法求解式 （13），即可求解出相機響應曲線。圖5（a）是擬合出的R、G、B這3個顏色通道的相機響應曲線，分別用虛線、實線、點劃線表示。橫坐標表示像素值V，縱坐標表示曝光量H的對數(shù)lnH。對比圖3（a）可以看出，這種方式擬合出的相機響應曲線更加平滑，優(yōu)于隨機并加以梯度限制這種采樣方式擬合出的相機響應曲線，尤其是高像素值部分。

圖5（b）是根據(jù)本文算法合成出的高動態(tài)范圍圖像。圖2的前3幅圖像，室內(nèi)的畫框、天花板等暗區(qū)域細節(jié)表現(xiàn)不清晰，后3幅圖像，窗外處于陽光直射處等亮區(qū)域的細節(jié)表現(xiàn)不清晰，而在圖5（b）中，無論是暗區(qū)域還是亮區(qū)域，細節(jié)特征都能很好的表現(xiàn)出來。從細節(jié)圖5（c）可以看出，圖像的整體顏色表現(xiàn)更加自然，窗外柱子部分及室內(nèi)燈光部分細節(jié)特征表現(xiàn)得更好，優(yōu)于隨機并加以梯度限制這種采樣方式擬合相機響應曲線并最終合成出的高動態(tài)范圍圖像。

4 結(jié)束語

相機響應曲線的擬合是合成高動態(tài)圖像的關(guān)鍵技術(shù)，決定了合成的高動態(tài)范圍圖像質(zhì)量好壞。本文算法根據(jù)圖像序列成像特點對圖像序列去噪；充分利用每幅圖像像素信息，采用最小二乘法擬合出圖像序列與第一幅圖像像素值關(guān)系曲線；利用該曲線進行相機響應曲線擬合。減少了對圖像序列采樣的過程。避免了擬合出的相機響應曲線隨采樣點的變化曲線變化大、不穩(wěn)定。實驗中，通常選取整體亮度較低，但像素值基本覆蓋0－255中所有像素值的圖像作為擬合相機響應曲線圖像序列的第一幅圖像。實驗表明該技術(shù)擬合出的相機響應曲線平滑，合成出的高動態(tài)范圍圖像效果好。

［1］Debevec P E，Mcmillan L.Image－based modeling rendering and lighting ［J］.IEEE Comput Graphics and Appl，2002，22（2）：24－25.

［2］HUA S G，OU Z Y，WANG X D.Constructing full view panoramic image based on spherical model［C］.Tianjin：Proceedings of SPIE the International Conference on VR and Application in Industry，2003：117－122.

［3］SHUM H，Szeliski R.Construction of panoramic mosaics with global and local alignment［J］.International Journal of Computer Vision，2002，36 （2）：101－130.

［4］Brown M，Lowe D.Recognising panoramas［C］.Proceedings of the 9th International Conference on Computer Vision，2003：1218－1225.

［5］Reinhard E，Ward G，Pattanaik S，et al.High dynamic range imaging：Acquisition display and image based lighting ［M］.San Francisco：Morgan Kaufmann Publishers，2005：96－105.

［6］Ward G，High dynamic range image encodings［EB/OL］.http：//www.anyhere.com/gward/hdrenc/hdr－encodings.html，2011.

［7］WANG Zhongli，ZHAO Qingjie.Technology of high dynamic range image reconstrucion ［J］.Optical Technique，2006，32（Zl）：279－285 （in Chinese）.［王忠立，趙清潔.高動態(tài)范圍圖形獲取技術(shù) ［J］.光學技術(shù)，2006，32 （Zl）：279－285.］

［8］Nayar S K，Branzoi V.Adaptive dynamic range imaging：Optical control of pixel exposures over space and time ［C］.Proceedings of the Ninth IEEE International Conference on Computer Vision，2003.

［9］Nayar S K，Vlad Branzoi，Terry E Bouh.Programmable imaging using a digital micromirror array ［C］.Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004.

［10］Kavadias S，Dieriekx B，Scherer D，et a1.A logarithmi response CMOS image sensor with on－chip calibration ［J］.IEEE Journal of Solid，State Circuits，2000，35 （8）：1146－1152.

［11］Mitsunaga T，Nayar S K.High dynamicr range imaging：Spatially varying pixel exposures ［C］.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2000：472－479.

［12］ZHU Xiuming.Research on construction and visualization of high dynamic range image ［D］.Hangzhou：Zhejiang University，2008（in Chinese）.［朱秀明.高動態(tài)范圍圖像的合成及可視化研究 ［D］.杭州：浙江大學，2008.］

［13］Grossberg M D，Nayar S K.What is the space of camera response functions［C］.IEEE Conference on Computer Vision and Pattern Recognition，2003：602－609.

［14］Berkin A，WANG Meng.A review of high dynamic range imaging on static scenes［R］.Boston：Boston University，2008.

［15］SA Asla，CARVALHO Paulo，VELHO Luiz.High Dynamic Range Imaging Reconstruction ［M］.San Rafael，Calif：Morgan ＆Claypool Publishers，2007.