基于動(dòng)態(tài)場(chǎng)景的高動(dòng)態(tài)圖像合成

梁 晨，方向忠

(上海交通大學(xué)，上海200240)

由于現(xiàn)實(shí)世界中的動(dòng)態(tài)范圍要遠(yuǎn)遠(yuǎn)高于普通相機(jī)所能夠采集到的動(dòng)態(tài)范圍，造成圖片中較暗的區(qū)域細(xì)節(jié)不足，而比較亮的區(qū)域卻又過(guò)度曝光，為了能夠更加精確地反映實(shí)際的場(chǎng)景，提出了高動(dòng)態(tài)圖像作為新的圖像表示方式。

傳統(tǒng)的高動(dòng)態(tài)圖像獲取往往是基于對(duì)相機(jī)響應(yīng)曲線(CRF)的估計(jì)，對(duì)于每個(gè)位置上的像素，通過(guò)結(jié)合相機(jī)響應(yīng)曲線信息和同一場(chǎng)景不同曝光度圖像強(qiáng)度信息，將其動(dòng)態(tài)范圍擴(kuò)展。同時(shí)，為了顯示融合結(jié)果，必須將動(dòng)態(tài)范圍重新壓縮，以便在一般屏幕上顯示［1－2］。而基于曝光融合的高動(dòng)態(tài)圖像生成方法［3］，并不需要引入相機(jī)響應(yīng)曲線這一非線性過(guò)程，直接將不同曝光時(shí)間的圖像進(jìn)行基于拉普拉斯金字塔分解的融合，速度快，并且可以取得很好的效果。但是上述方法往往只適用于靜態(tài)場(chǎng)景，一旦出現(xiàn)運(yùn)動(dòng)物體，最終合成的圖像會(huì)有明顯的鬼影效應(yīng)。為了解決這一問(wèn)題，文獻(xiàn)［4］中提出了基于運(yùn)動(dòng)預(yù)測(cè)的方法，但卻受限于運(yùn)動(dòng)估計(jì)的精度，而且計(jì)算量大，導(dǎo)致合成結(jié)果不理想。而文獻(xiàn)［5］中通過(guò)估計(jì)某一個(gè)像素是否屬于相應(yīng)物體的概率來(lái)確定在合成的時(shí)候所授予的相應(yīng)權(quán)重，但是由于這個(gè)方法在像素級(jí)別進(jìn)行，魯棒性不夠。

本文所提出的方法借助圖像分割和多曝光圖像連續(xù)性檢測(cè)，對(duì)于可能產(chǎn)生鬼影的物體進(jìn)行區(qū)域性的消除，相比于像素級(jí)別的操作，有效提高了對(duì)鬼影區(qū)域檢測(cè)的準(zhǔn)確性，取得了良好的高動(dòng)態(tài)圖像融合效果。

1 總體架構(gòu)

給定一系列的不同曝光時(shí)間的圖像，首先需要從其中選擇出曝光最好的圖像作為參考圖像，這個(gè)圖像應(yīng)該盡可能地包括場(chǎng)景中的有效信息。通常來(lái)說(shuō)，以檢測(cè)飽和像素個(gè)數(shù)的方法來(lái)確定參考圖像。在選取了參考圖像之后，同時(shí)需要將所有其他的圖像進(jìn)行校準(zhǔn)，盡可能地降低相機(jī)抖動(dòng)帶來(lái)的影響。之后對(duì)于參考圖像，會(huì)選取合適的塊大小將其分割，然后對(duì)每一個(gè)塊基于互易律進(jìn)行連續(xù)性判斷，從而去除那些不同曝光時(shí)間圖像中不連續(xù)的塊，只保留那些與參考圖像中相應(yīng)部分連續(xù)的圖像中的區(qū)塊。

由于場(chǎng)景中物體的移動(dòng)，那些非參考圖像中被判定為不連續(xù)的區(qū)塊將被舍去。而如果簡(jiǎn)單地將現(xiàn)有的圖像序列合成，最終可能由于相鄰的塊之間合成時(shí)所選擇的備選圖像不同，而造成塊之間存在明顯的裂縫，影響最終的合成效果。為了解決這一問(wèn)題，引入了亮度轉(zhuǎn)移函數(shù)。通過(guò)統(tǒng)計(jì)兩幅圖像之間同一位置亮度的變化關(guān)系，估計(jì)出亮度轉(zhuǎn)移函數(shù)，從而為參考圖像生成出一個(gè)在其他曝光時(shí)間下的副本。而那些不連續(xù)的區(qū)塊，就可以使用副本中相應(yīng)位置的塊內(nèi)容相替代。通過(guò)這樣的方式，把動(dòng)態(tài)場(chǎng)景轉(zhuǎn)化成了靜態(tài)場(chǎng)景，再通過(guò)簡(jiǎn)單的拉普拉斯金字塔曝光融合的方式，就可以獲得無(wú)失真、去除鬼影、同時(shí)場(chǎng)景細(xì)節(jié)和動(dòng)態(tài)范圍得到極大豐富的高動(dòng)態(tài)圖像。圖1中給出了總體框圖。

圖1 去除鬼影的高動(dòng)態(tài)圖像合成框架圖

本文重點(diǎn)研究圖像的連續(xù)性預(yù)測(cè)和鬼影去除的高動(dòng)態(tài)圖像融合，具體包括圖像預(yù)處理、圖像連續(xù)性檢測(cè)、基于亮度轉(zhuǎn)移函數(shù)的圖像副本生成。

2 消除鬼影的高動(dòng)態(tài)圖像合成

2.1 圖像預(yù)處理

給定一組不同曝光時(shí)間的圖像，在對(duì)其進(jìn)行進(jìn)一步處理之前，必須首先預(yù)處理。包括參考圖像選取和圖像校準(zhǔn)。對(duì)于參考圖像的選取很大程度上影響著最終的融合結(jié)果，因?yàn)楹罄m(xù)的校準(zhǔn)、連續(xù)性檢測(cè)、副本生成都是圍繞已經(jīng)選定的參考圖像的基礎(chǔ)上。在選定參考圖像的時(shí)候，希望參考圖像是整個(gè)圖像組中曝光最好的圖像，所謂曝光最好，并不一定是曝光時(shí)間在中間的圖像，因?yàn)楹芏鄷r(shí)候具有過(guò)曝光或者欠曝光的像素的圖像，卻有可能很好地保留場(chǎng)景的結(jié)構(gòu)信息。但是大塊的飽和像素，會(huì)在很大程度上影響最終的合成結(jié)果。所以針對(duì)在圖像組中的圖像，首先提取出飽和的像素，然后對(duì)其分別進(jìn)行形態(tài)學(xué)處理，去除那些比較小塊的飽和像素，再計(jì)算剩余的飽和像素?cái)?shù)目，從而確定最少者為最終的參考圖像。

在完成參考圖像選取之后，需要利用文獻(xiàn)［6］中的圖像校準(zhǔn)方法，這種基于變換的校準(zhǔn)方法基于圖像金字塔，在圖像質(zhì)量的多個(gè)層級(jí)上進(jìn)行校準(zhǔn)，再把結(jié)果匯總到當(dāng)前的分辨率下，時(shí)間復(fù)雜度與像素的個(gè)數(shù)成正比，快速有效，可以大大避免由于相機(jī)輕微抖動(dòng)所帶來(lái)的最終合成圖像中的失真。

2.2 基于圖像分塊的場(chǎng)景連續(xù)性檢測(cè)

在完成了包括參考圖像選取和圖像校準(zhǔn)在內(nèi)的圖像預(yù)處理工作之后，就可以開(kāi)始對(duì)圖像的分塊處理了。通過(guò)選取相同大小的矩形，可以把圖像分塊，針對(duì)圖像的每一塊進(jìn)行連續(xù)性檢測(cè)，即當(dāng)前圖像中的物體是否在不同曝光時(shí)間的圖像中同樣出現(xiàn)過(guò)。本文根據(jù)輸入圖像組曝光時(shí)間不同的特點(diǎn)，再結(jié)合互易律，就可以得出對(duì)物體是否連續(xù)的可靠判斷。

所謂互易律，就是在場(chǎng)景的光照不變的情況下，那么曝光值X與輻照值E和曝光時(shí)間存在如下關(guān)系

對(duì)式(1)進(jìn)行進(jìn)一步處理，可以得到不同圖像相同位置像素之間曝光值的相互關(guān)系

式中:Δtij表示了兩張圖像曝光時(shí)間的相對(duì)關(guān)系。

式(2)只有在場(chǎng)景發(fā)生改變的時(shí)候才會(huì)被打破，因此對(duì)于那些場(chǎng)景連續(xù)的區(qū)域，可以依照式(2)進(jìn)行判斷。與此同時(shí)，由于噪聲或飽和像素的影響，單純使用一個(gè)像素進(jìn)行互易律的驗(yàn)證會(huì)帶來(lái)很大的不準(zhǔn)確性，所以為了能夠讓判定結(jié)果的健壯性更強(qiáng)，所以引入圖像分塊的機(jī)制，對(duì)于圖像的每一個(gè)塊而言，驗(yàn)證其中滿(mǎn)足互易律的像素?cái)?shù)，如果差值超過(guò)一定的閾值T1，就認(rèn)定不滿(mǎn)足互易律，為不連續(xù)的像素，與此同時(shí)，計(jì)算圖像塊中不滿(mǎn)足互易律的像素所占整個(gè)塊像素?cái)?shù)的比重，而當(dāng)這個(gè)比重大于閾值T2的時(shí)候，就認(rèn)定這個(gè)塊與參考圖像相應(yīng)的部分并不連續(xù)，在最終合成的時(shí)候不能利用這一部分信息，否則就有可能造成鬼影效應(yīng)。

為了方便計(jì)算，使用曝光值的對(duì)數(shù)，式(2)轉(zhuǎn)變?yōu)?/p>

因此每個(gè)像素曝光值對(duì)數(shù)之間相差的僅僅是一個(gè)常數(shù)，對(duì)于每一個(gè)圖像塊，分別統(tǒng)計(jì)3個(gè)圖像通道RGB中的不滿(mǎn)足互易律的像素的個(gè)數(shù)，這些像素都是可能導(dǎo)致鬼影效應(yīng)的像素，在對(duì)數(shù)域內(nèi)，理想的互易關(guān)系是的直線，圖2分別列出了1個(gè)連續(xù)的圖像塊和不連續(xù)的圖像塊所具有的統(tǒng)計(jì)特征，橫軸是參考圖像曝光值的對(duì)數(shù)，縱軸是其他曝光圖像曝光值的對(duì)數(shù)。圖中實(shí)線代表理想的互易關(guān)系，兩條虛線分別代表允許偏差的閾值區(qū)域。那些不滿(mǎn)足條件的圖像塊會(huì)被剔除，而與參考圖像中的連續(xù)的塊會(huì)被保留，用來(lái)進(jìn)行最后的圖像合成。

為了計(jì)算曝光值，必須從已有的像素值出發(fā)，由于像素值與曝光值具有如下關(guān)系

式中:I代表像素值;X代表曝光值;f則是非線性的相機(jī)響應(yīng)曲線。

在得到像素值之后，首先利用文獻(xiàn)［2］中的方法估計(jì)相機(jī)的響應(yīng)曲線，隨后再利用像素值結(jié)合相機(jī)響應(yīng)曲線，反推出對(duì)應(yīng)的曝光值X，圖3中列出了正常的圖像和進(jìn)行估計(jì)之后的曝光值的圖像。

2.3 亮度轉(zhuǎn)移函數(shù)估計(jì)和圖像副本生成

圖3 原始圖像與曝光值的圖像對(duì)比

為了在出現(xiàn)不連續(xù)的區(qū)域的時(shí)候進(jìn)行必要的圖像補(bǔ)充，從而使得最終合成的圖像完整且沒(méi)有明顯的塊效應(yīng)，需要進(jìn)行圖像副本的生成。在完成了參考圖像的選取之后，對(duì)于圖像集中所有不同曝光時(shí)間的圖像，進(jìn)行圖像副本的生成，而生成的結(jié)果被用作最終合成時(shí)的圖像塊填充的來(lái)源。

在生成的時(shí)候，需要對(duì)圖像的區(qū)域加以區(qū)分，對(duì)于正常曝光的像素，首先需要對(duì)亮度轉(zhuǎn)移函數(shù)進(jìn)行估計(jì)，所謂亮度轉(zhuǎn)移函數(shù)是指兩個(gè)圖像之間，由聯(lián)合直方圖所反映出來(lái)的像素亮度值的轉(zhuǎn)移關(guān)系［7］，給定兩個(gè)圖像和，聯(lián)合直方圖描述為

式中:δ描述的是沖擊函數(shù);x則是圖像的像素坐標(biāo);C一般是一個(gè)256×256的矩陣;i和j則對(duì)應(yīng)著在和中的亮度階。而亮度轉(zhuǎn)移函數(shù)則是描述了對(duì)于圖像l1中的每一個(gè)亮度階i，最有可能的亮度值j=BTF(i)。對(duì)于亮度轉(zhuǎn)移函數(shù)的估計(jì)可以轉(zhuǎn)換成一個(gè)優(yōu)化的問(wèn)題，從C中最大的亮度階開(kāi)始，即i0=BTF(j0)，隨后對(duì)于256≥i＞i0和1≤i＜i0分別進(jìn)行計(jì)算，而在每一個(gè)方向的計(jì)算中，都解決如下的優(yōu)化問(wèn)題

同時(shí)要注意亮度轉(zhuǎn)移函數(shù)具有單調(diào)的特性，這點(diǎn)在估計(jì)的時(shí)候必須加以限制。整個(gè)優(yōu)化的過(guò)程，采用貝爾曼優(yōu)化準(zhǔn)則和動(dòng)態(tài)規(guī)劃的編程思想，在通過(guò)多項(xiàng)式擬合的方式得到最終的亮度轉(zhuǎn)移函數(shù)結(jié)果。

圖4中給出了一個(gè)亮度轉(zhuǎn)移函數(shù)的估計(jì)和優(yōu)化過(guò)程。橫軸代表最短曝光的圖像，縱軸代表長(zhǎng)曝光的圖像，這里是參考圖像，通過(guò)對(duì)聯(lián)合直方圖的分析，最終可以得到圖4b中所示的亮度轉(zhuǎn)移函數(shù)。

圖4 亮度轉(zhuǎn)移函數(shù)的估計(jì)和優(yōu)化過(guò)程

針對(duì)于圖像集中的每一張圖像，都生成相應(yīng)的亮度轉(zhuǎn)移函數(shù)，然后再利用亮度轉(zhuǎn)移函數(shù)，生成不同曝光值下的圖像副本，圖5中給出了參考圖像、短曝光原始圖像，以及相應(yīng)的利用亮度轉(zhuǎn)移函數(shù)生成的圖像。

3 圖像融合效果和質(zhì)量評(píng)價(jià)

圖5 圖像對(duì)比

利用通過(guò)圖像轉(zhuǎn)移函數(shù)生成的圖像副本，和對(duì)于圖像序列中不連續(xù)的圖像區(qū)塊的檢測(cè)信息，可以進(jìn)行最終的圖像合成，從而實(shí)現(xiàn)動(dòng)態(tài)場(chǎng)景的無(wú)鬼影高動(dòng)態(tài)合成。在最終合成的時(shí)候，使用文獻(xiàn)［3］中的曝光融合方法，在這種方法中，曝光值、對(duì)比度以及飽和度被用來(lái)衡量圖像權(quán)重。

通過(guò)判斷像素值是否飽和以及與最佳曝光點(diǎn)的距離，得到曝光度衡量標(biāo)準(zhǔn)E。對(duì)于飽和度，分別計(jì)算RGB3個(gè)通道的標(biāo)準(zhǔn)差，得到對(duì)比度標(biāo)準(zhǔn)S。而在計(jì)算對(duì)比度時(shí)，對(duì)灰度圖應(yīng)用拉普拉斯濾波器，然后對(duì)濾波器響應(yīng)取絕對(duì)值，最終結(jié)果會(huì)對(duì)圖像邊緣和結(jié)構(gòu)給予較大權(quán)重。在結(jié)合3個(gè)標(biāo)準(zhǔn)之后，對(duì)每個(gè)像素點(diǎn)，進(jìn)行基于拉普拉斯金字塔分解的加權(quán)平均合成，從而避免邊緣點(diǎn)之間可能存在的裂縫。在圖6中列舉出了以圖6d作為參考圖像下不同曝光的圖像集，圖7分別進(jìn)行消除鬼影處理之前和之后的結(jié)果。

圖6 動(dòng)態(tài)場(chǎng)景下不同曝光時(shí)間的圖像集

從圖中可以看出，融合后的圖像不但在亮區(qū)豐富了細(xì)節(jié)，同時(shí)增強(qiáng)了屋頂這一欠曝光的區(qū)域。為了對(duì)評(píng)價(jià)融合后的圖像，引入文獻(xiàn)［8］中的圖像銳度和自然度的評(píng)判標(biāo)準(zhǔn)。圖像銳度定義為圖像梯度歸一化的和

式中:N代表了圖像I中像素的個(gè)數(shù)。

圖7 進(jìn)行消除鬼影處理前后圖像對(duì)比

圖像自然度的評(píng)價(jià)綜合了亮度與對(duì)比度這兩個(gè)人體對(duì)圖像感知最大的因素，建立在3 000張圖像和實(shí)驗(yàn)的基礎(chǔ)上，值越高，代表圖像越自然，文獻(xiàn)［8］提出了這一評(píng)判標(biāo)準(zhǔn)。評(píng)價(jià)結(jié)果如表1所示。

表1 圖像合成結(jié)果對(duì)比

表中對(duì)本文的方法與文獻(xiàn)［9］中的方法進(jìn)行了多個(gè)圖像序列(ICCV’09)的比較，從結(jié)果中可以看出，無(wú)論是圖像銳度還是圖像自然度，本文中的方法在兩個(gè)不同的圖像序列中均優(yōu)于文獻(xiàn)［9］中的方法。

4 小結(jié)

本文提出了一個(gè)基于圖像連續(xù)性檢測(cè)和圖像副本生成的動(dòng)態(tài)場(chǎng)景高動(dòng)態(tài)圖像合成方法。實(shí)驗(yàn)結(jié)果顯示，通過(guò)這種方法合成的高動(dòng)態(tài)圖像不但去除了鬼影效應(yīng)，而且提高了圖像質(zhì)量，豐富了在欠曝光和過(guò)曝光區(qū)域的圖像細(xì)節(jié)。與同類(lèi)的方法相比較，也顯示出了本文所提出方法的有效性。

:

［1］周海勇，吳敏，萬(wàn)帥．一種適用于硬件實(shí)現(xiàn)的寬動(dòng)態(tài)圖像合成算法［J］．電視技術(shù)，2013，37(11):47－50．

［2］ DEBVEC P，MALIK J．Recovering high dynamic range radiance maps from photographs［EB/OL］．［2013－09－02］．http://wenku．baidu．com/link?url=6VhdAIQHKKoxCpmqg7ZT5KvviwMGYf5Sm3LT82y27 kEBlwRQdi6O7Zh_D0CC8jVM－QI_Q－qVvyfexXDo16dvVvKKWQcpxdk 0_XSGpr3lzPW．

［3］ MERTENS T，KAUTZ J，REETH F．Exposure fusion［C］//Proc．Pacific Conference on Computer Graphics and Applications．Hawaii，USA:［s．n．］，2007:382－390．

［4］ BOGONI L．Extending dynamic range of monochrome and color images through fusion［C］//Proc．International Conference on Pattern Recognition(ICPR)．［S．l．］:IEEE Press，2000:15－17．

［5］ KHAN E，AKYUZ A，REINHARD E．Ghost removal in high dynamic range images［C］//Proc．IEEE International Conference on Image Processing．［S．l．］:IEEE Press，2006:2005－2008．

［6］ WARD G．Fast，robust image registration for compositing high dynamic range photographs from handheld exposures［J］．Journal of Graphics Tools，2003(8):17－30．

［7］ MANN S．Comparametric equations with practical applications in quantigraphic image processing［J］．IEEE Trans．Image Processing，2000，9(8):1389－1406．

［8］ YEGANEH H，WANG Z．Objective quality assessment of tone mapped images［J］．IEEE Trans．Image Processing，2013，22(2):657－667．

［9］ AN J，LEE S，KUK J，et al．A multi－exposure image fusion algorithm without ghost effect［C］//Proc．IEEE International Conference on Acoustics，Speech，and Signal Processing．［S．l．］:IEEE Press，2011:1565－1568．