細(xì)節(jié)保留的多曝光圖像融合

李衛(wèi)中，易本順，邱　康，彭　紅

(1 武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072；2 湖北工程學(xué)院 物理與電子信息工程學(xué)院，湖北 孝感 432000；3 地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079)

?

細(xì)節(jié)保留的多曝光圖像融合

李衛(wèi)中1，2，易本順1，3 *，邱康1，彭紅1

(1 武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072；2 湖北工程學(xué)院 物理與電子信息工程學(xué)院，湖北 孝感 432000；3 地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079)

針對傳統(tǒng)的多曝光圖像融合算法存在的細(xì)節(jié)丟失嚴(yán)重和鬼影現(xiàn)象，提出了一種細(xì)節(jié)保留的多曝光圖像融合算法。該算法首先計算曝光序列的3個特征指標(biāo)：圖像細(xì)節(jié)、曝光亮度和色彩信息，其中圖像細(xì)節(jié)通過引導(dǎo)濾波計算，曝光亮度的權(quán)值由高斯方程分配，而曝光序列的色彩信息用色彩飽和度表示。然后，利用差分圖和鄰域相關(guān)系數(shù)檢測多曝光序列中運動物體，利用3個特征指標(biāo)和運動目標(biāo)檢測結(jié)果分別計算靜態(tài)場景和動態(tài)場景的融合權(quán)值圖。為了消除噪聲的影響，采用遞歸濾波器來修正融合權(quán)值圖。最后，采取加權(quán)融合的方式得到融合圖像。選取10組不同的曝光序列，分別從主觀和客觀兩方面與6種傳統(tǒng)的融合算法進(jìn)行了比較。實驗結(jié)果表明，本文算法保留了豐富的細(xì)節(jié)信息，呈現(xiàn)出了更加生動自然的現(xiàn)實場景，并且有效去除了由運動物體產(chǎn)生的鬼影現(xiàn)象，效果優(yōu)于其他比較算法，在靜態(tài)場景和動態(tài)場景的曝光融合中都取得了好的效果。

多曝光圖像；圖像融合；圖像細(xì)節(jié)；引導(dǎo)濾波；鬼影

1　引　言

普通數(shù)碼相機成像的動態(tài)范圍一般為2～3個數(shù)量級，而現(xiàn)實場景的亮度變化范圍高達(dá)8～10個數(shù)量級[1]，遠(yuǎn)遠(yuǎn)超過了CCD/CMOS成像設(shè)備所能捕捉的動態(tài)范圍[2-4]。因此利用普通的數(shù)碼相機很難完整地捕捉現(xiàn)實場景的所有信息，例如:短曝光圖像只能捕捉到明亮區(qū)域的場景細(xì)節(jié)，而長曝光圖像往往只能呈現(xiàn)較暗區(qū)域的場景細(xì)節(jié)[5-6]。為了完美地呈現(xiàn)現(xiàn)實場景的所有細(xì)節(jié)信息，可以用數(shù)碼相機拍攝一系列同一場景不同曝光亮度的圖像，然后利用多曝光圖像融合技術(shù)合成一幅反映現(xiàn)實場景所有信息的圖像。

近年來，國內(nèi)外的許多學(xué)者在多曝光圖像融合方面展開了研究。周曉波等[7]提出了基于圖像分塊的多曝光圖像融合算法，但該方法容易產(chǎn)生塊效應(yīng)。付爭方等[8]提出了基于S曲線的多曝光圖像融合算法，但該方法只能在一定程度上改善融合效果。Mertens等[9]提出了基于金字塔的多曝光圖像融合算法，該方法獲得了較好的融合效果，但丟失了較亮區(qū)域和較暗區(qū)域的細(xì)節(jié)信息。Shen等[10]提出了基于改進(jìn)金字塔的多曝光圖像融合算法，較好地保留了細(xì)節(jié)信息，但增加了算法的運算復(fù)雜度。Bruce[11]提出了基于局部熵的多曝光圖像融合算法，該算法較好地保留了場景細(xì)節(jié)，但全局對比度低且色彩退化嚴(yán)重。Vanmali等[12]利用高斯方程實現(xiàn)了一種低復(fù)雜度的多曝光圖像融合算法，該算法雖然有效地降低了計算復(fù)雜度，但場景細(xì)節(jié)丟失嚴(yán)重并且顏色失真明顯。而且以上算法均適合于靜態(tài)場景的多曝光圖像融合，如果場景中存在運動物體，融合結(jié)果將產(chǎn)生嚴(yán)重的鬼影現(xiàn)象。國內(nèi)外的很多學(xué)者對消除鬼影現(xiàn)象進(jìn)行了研究。Gallo等[13]利用RANSAC(RANdom Sample Consensus)過程有效消除了鬼影，但卻產(chǎn)生了色彩失真和塊效應(yīng)。Li等[14]利用直方圖均衡化和中值濾波檢測運動物體，該算法一定程度上減少了鬼影現(xiàn)象，但不能完全消除鬼影。Oh等[15]利用矩陣秩最小理論檢測運動物體，雖然能有效減少運動物體對融合結(jié)果的影響，但算法的運算復(fù)雜度高。Liu等[16]利用圖像的尺度不變特征變換(SIFT)實現(xiàn)多曝光圖像融合，有效地保留了細(xì)節(jié)信息，但不能完全消除鬼影現(xiàn)象。

為了更好地消除運動物體的鬼影現(xiàn)象，本文提出了一種細(xì)節(jié)保留的多曝光圖像融合算法。首先計算圖像的3個特征指標(biāo)：圖像細(xì)節(jié)、曝光亮度和色彩信息；然后利用差分圖和鄰域相關(guān)系數(shù)進(jìn)行運動物體檢測；根據(jù)特征指標(biāo)和運動物體檢測結(jié)果計算權(quán)值圖并利用遞歸濾波對權(quán)值圖進(jìn)行修正；最后采用加權(quán)融合的方式得到融合圖像。該算法在靜態(tài)場景和動態(tài)場景的曝光融合中都能產(chǎn)生較好的融合結(jié)果。

2　曝光融合

本文的算法不僅適用于靜態(tài)場景，而且適用于動態(tài)場景。該算法主要由圖像特征指標(biāo)計算、運動物體檢測、權(quán)值圖計算以及加權(quán)融合等4個步驟組成。

2.1特征指標(biāo)計算

針對靜態(tài)場景融合的特點，選擇圖像細(xì)節(jié)、曝光亮度和色彩信息3個特征指標(biāo)來計算曝光融合的權(quán)值。

2.1.1圖像細(xì)節(jié)

(1)

(2)

2.1.2曝光亮度

人的視覺系統(tǒng)觀察到的細(xì)節(jié)信息多少與圖像的曝光亮度有直接關(guān)系，曝光亮度合適的圖像能呈現(xiàn)出豐富的紋理細(xì)節(jié)和色彩信息，而欠曝光或者過曝光區(qū)域則幾乎不能傳遞任何細(xì)節(jié)信息。因此，在曝光融合過程中，應(yīng)該對曝光合適的像素分配較大的權(quán)值，而對欠曝光或者過曝光區(qū)域的像素分配很小的權(quán)值。具體為：首先將原序列轉(zhuǎn)換成灰度圖并作歸一化處理，然后根據(jù)各像素的曝光亮度，利用高斯方程為每個像素分配相應(yīng)的權(quán)值，同時排除欠曝光或過曝光區(qū)域像素對融合結(jié)果的影響，其權(quán)值分配方程為：

(3)

2.1.3色彩信息

色彩信息是衡量圖像質(zhì)量的重要指標(biāo)，飽和的色彩能讓圖像看起來更加生動。本文采用色彩飽和度來衡量圖像的色彩信息，其計算過程為：

(4)

2.2運動物體檢測

(5)

(6)

(7)

(8)

(9)

2.3計算權(quán)值圖

為了保留更多的場景細(xì)節(jié)以及豐富的色彩信息，同時消除運動物體對融合結(jié)果的影響，將圖像特征指標(biāo)與運動檢測結(jié)果加權(quán)相乘得到權(quán)值圖，即：

(10)

(11)

2.4加權(quán)融合

由于權(quán)值圖在處理過程中容易引入噪聲，為了消除噪聲的影響，以便得到精確的權(quán)值圖，需要對權(quán)值圖進(jìn)行濾波處理。遞歸濾波是一種實時的邊緣保持濾波器，已廣泛用于圖像和視頻處理[19]。將權(quán)值圖進(jìn)行遞歸濾波處理能有效濾除噪聲，從而得到精確平滑的權(quán)值圖Wk。 其處理過程如式(12)所示：

(12)式中RF(·)表示遞歸濾波操作。得到精確的權(quán)值圖后，通過加權(quán)融合得到最后的融合圖像F，即：

(13)

3　實驗結(jié)果與分析

所有的實驗都是在Intel i5處理器(3.5 GHz， 64位)，4 G內(nèi)存的PC平臺上利用MATLAB (R2012a)編程完成。分別在靜態(tài)場景和動態(tài)場景對多組曝光序列進(jìn)行了測試，并將本文算法與Mertens等[9]、Bruce[11]、Gallo等[13]、Li等[14]、Oh等[15]以及Liu等[16]提出的算法進(jìn)行了比較分析。

實驗過程中對算法的相關(guān)參數(shù)進(jìn)行了設(shè)置。為了獲得圖像的細(xì)節(jié)，引導(dǎo)濾波的濾波半徑和平滑系數(shù)分別取r=5和ε=0.1。遞歸濾波器的空間參數(shù)和值域參數(shù)分別設(shè)為σs=80和σr=3。大量的測試顯示，當(dāng)門限值T1=0.15、T2=0.85，同時選擇9×9鄰域時，可以精確地檢測運動物體。

3.1靜態(tài)場景的測試與分析

圖1(彩圖見期刊電子版)和圖2(彩圖見期刊電子版)分別為不同的多曝光序列融合結(jié)果以及局部細(xì)節(jié)圖。在圖1中，Mertens算法呈現(xiàn)出了較好的全局對比度以及豐富的色彩，但較亮區(qū)域的細(xì)節(jié)有所損失(如圖1(b)中的教堂天窗的細(xì)節(jié)部分不夠清晰)。Li算法呈現(xiàn)出了較好的全局對比度，但較亮區(qū)域的天窗細(xì)節(jié)損失嚴(yán)重。Bruce提出的算法導(dǎo)致融合后的圖像亮度較暗，整體對比度較低，色彩不夠鮮艷，天花板左側(cè)部分細(xì)節(jié)損失嚴(yán)重。Liu算法呈現(xiàn)出了較好的對比度，但天窗區(qū)域的周邊比較模糊。本文算法呈現(xiàn)出了較好的視覺效果，同時保留了豐富的場景細(xì)節(jié)，如教堂頂部的天窗和左右兩側(cè)的天花板呈現(xiàn)出的細(xì)節(jié)更加清晰，色彩更加自然。

在圖2中，Mertens算法呈現(xiàn)出了較好的全局對比度和色彩飽和度，但局部對比度低，塔體部分較暗，塔體細(xì)節(jié)損失嚴(yán)重。與Mertens算法相比，Li算法和Bruce算法一定程度上保留了塔體的細(xì)節(jié)，但這兩種方法都呈現(xiàn)出了一定的顏色退化現(xiàn)象，例如花草的顏色不夠鮮艷，并且場景細(xì)節(jié)也不夠清晰。Liu算法可較好地保留細(xì)節(jié)，但與本文算法相比，色彩稍顯暗淡(如圖2(e)中草坪上花朵的顏色)。本文算法展現(xiàn)出了較好的對比度和色彩飽和度，清晰地呈現(xiàn)了場景的細(xì)節(jié)(如圖2(f)中塔體的細(xì)節(jié))，并且色彩更加鮮艷、真實，視覺效果好。

(a)輸入的Memorial多曝光序列

(b)Mertens(c)Li(d)Bruce(e)Liu(f)Proposed method

圖1Memorial圖像序列曝光融合結(jié)果

Fig.1Exposure fusion results of Memorial sequence

(a)輸入的Tower多曝光序列

(b)Mertens(c)Li(d)Bruce(e)Liu(f)Proposed method

圖2Tower圖像序列曝光融合結(jié)果

Fig.2Exposure fusion results of Tower sequence

3.2動態(tài)場景的測試與分析

圖3(彩圖見期刊電子版)、圖4(彩圖見期刊電子版)和圖5(彩圖見期刊電子版)分別為曝光序列Arch、Sculpture garden和Puppet的測試結(jié)果。從實驗結(jié)果可以看出，Mertens算法雖然呈現(xiàn)出了較好的對比度和色彩飽和度，但產(chǎn)生了嚴(yán)重的鬼影(如圖3(b)和圖4(b)中的行人，圖5(b)中的橄欖球)。 Gallo的算法能有效消除鬼影現(xiàn)象，但引入了塊效應(yīng)(如圖3(c)中走廊邊緣的地板)和顏色扭曲失真(如圖3(c)中柱子底部方框區(qū)域以及圖4(c)中的方框區(qū)域)。Li的算法一定程度上減少了鬼影，但仍然存在鬼影現(xiàn)象(如圖3(d)和圖4(d)中的行人以及圖5(d)中的橄欖球)。Liu算法和Oh算法在很大程度上減少了鬼影現(xiàn)象，但仔細(xì)觀察仍然可以發(fā)現(xiàn)鬼影存在(如圖4(e)中的行人以及圖5(e)和圖5(f)中的橄欖球)。相比之下，本文算法能有效消除鬼影現(xiàn)象并較好地保留場景細(xì)節(jié)，視覺效果好。

(a)輸入的Arch多曝光序列

(b)Mertens(c)Gallo(d)Li(e)Liu(f)Oh(g)Proposed method

圖3Arch圖像序列曝光融合結(jié)果

Fig.3Exposure fusion results of Arch sequence

(a)輸入的Sculpture garden多曝光序列

(b)Mertens(c)Gallo(d)Li

(e)Liu(f)Oh(g) Proposed method

圖4Sculpture garden圖像序列曝光融合結(jié)果

Fig.4Exposure fusion results of Sculpture garden sequence

(a)輸入的Puppet多曝光序列

(b)Mertens(c)Gallo(d)Li

(e)Liu(f)Oh(g)Proposed method

圖5Puppet圖像序列曝光融合結(jié)果

Fig.5Exposure fusion results of Puppet sequence

3.3客觀評價

采用信息熵和圖像清晰度[20]兩項客觀指標(biāo)評價算法的性能。信息熵用來衡量圖像包含的信息量多少，信息熵越大，則圖像的信息量越大，表明其保留的細(xì)節(jié)越豐富，計算方法如式(14)所示：

(14)

式中pz為灰度圖中像素z的概率。

圖像的清晰度利用圖像的平均梯度來描述，其值越大表示圖像所包含的微小細(xì)節(jié)越豐富，表現(xiàn)為圖像越清晰，其計算公式為：

(15)

式中zr，c表示位于第r行第c列的像素灰度值，R和C分別表示輸入圖像的行數(shù)和列數(shù)。

選取多組不同場景的多曝光序列，分別計算信息熵和圖像清晰度兩項指標(biāo)，測試結(jié)果如表1和表2所示。從測試結(jié)果可以看出，在大多數(shù)情況下，本文算法要優(yōu)于其它的對比算法，即本文算法保留了更多的場景細(xì)節(jié)。

表1　圖像信息熵評價結(jié)果

表2　圖像清晰度評價結(jié)果

3.4計算效率

表3給出了4種多曝光圖像融合算法的計算效率對比結(jié)果，所對比的4種算法都采用MATLAB編程實現(xiàn)，所有的運行時間都是在Intel i5處理器(3.5 GHz， 64位)，4 G內(nèi)存的PC平臺上運行得到。從對比結(jié)果可以看出，本文算法的計算效率明顯優(yōu)于Liu和Oh的算法，與Li提出的快速曝光融合算法相當(dāng)。

表3計算效率對比

Tab.3Comparison of computation efficiency

(second)

4　結(jié)　論

本文提出了一種具有較好細(xì)節(jié)保留特點的多曝光圖像融合算法。利用圖像的特征指標(biāo)計算權(quán)值圖，同時消除運動物體對融合結(jié)果的影響，以避免產(chǎn)生鬼影現(xiàn)象。選取10組不同的曝光序列，分別從主觀和客觀兩方面對算法進(jìn)行比較分析，實驗結(jié)果表明本文算法很好地保留了亮區(qū)和暗區(qū)細(xì)節(jié)信息，呈現(xiàn)出了更加生動自然的現(xiàn)實場景，并且有效去除了由運動物體產(chǎn)生的鬼影現(xiàn)象。本文算法優(yōu)于6種比較算法，在靜態(tài)場景和動態(tài)場景都產(chǎn)生了更好的融合效果。

[1]CHAURASIYA R K， RAMAKRISHNAN K R. High dynamic range imaging [C].IEEEInternationalConferenceonCommunicationSystemsandNetworkTechnologies(CSNT)，2013: 83-89.

[2]QIAN X， YU H， CHEN S，etal.. A high dynamic range CMOS image sensor with dual-exposure charge subtraction scheme [J].IEEESensorsJournal， 2015， 15(2): 661-662.

[3]武星星， 劉金國， 周懷得，等. 制冷對電子倍增CCD相機成像質(zhì)量的影響[J].光學(xué) 精密工程， 2015， 23(10增): 528-532.

WU X X， LIU J G， ZHOU H D，etal.. Influence of cooling on imaging quality of EMCCD camera [J].Opt.PrecisionEng.，2015， 23(10Suppl.): 528-532. (in Chinese)

[4]劉慧， 劉學(xué)斌， 陳小來，等. 基于驅(qū)動時序控制CCD曝光時間的設(shè)計與實現(xiàn)[J].紅外與激光工程， 2015，44(S1): 199-204.

LIU H， LIU X B， CHEN X L，etal.. Design and implementation of CCD exposure time control based on driver timing [J].InfraredandLaserEngineering， 2015，44(S1): 199-204. (in Chinese)

[5]WANG T H， CHIU C W， WU W C，etal.. Pseudo multiple exposure based tone fusion with local region adjustment [J].IEEETransactionsonMultimedia， 2015， 17(4): 470-484.

[6]呂偉振， 劉偉奇， 魏忠倫，等. 基于DMD的高動態(tài)范圍成像光學(xué)系統(tǒng)設(shè)計[J].紅外與激光工程， 2014，43(4): 1167-1171.

LV W ZH， LIU W Q， WEI ZH L，etal.. Design of high dynamic range imaging optical system based on DMD [J].InfraredandLaserEngineering， 2014，43(4): 1167-1171. (in Chinese)

[7]周曉波，程海龍，賈琦. 圖像分塊融合算法速度優(yōu)化處理研究[J].北京交通大學(xué)學(xué)報， 2014， 38(5): 33-36.ZHOU X B， CHENG H L; JIA Q. Optimization of image block fusion algorithm in speed [J].JournalofBeijingJiaotongUniversity， 2014， 38(5): 33-36.(in Chinese)

[8]付爭方，朱虹，薛杉，等.基于Sigmoid函數(shù)擬合的多曝光圖像直接融合算法[J].儀器儀表學(xué)報，2015，36(10):2321-2329.

FU ZH F，ZHU H， XUE SH，etal..Direct fusion algorithm for multi exposed images based on Sigmoid function fitting [J].ChineseJournalofScientificInstrument，2015，36(10):2321-2329.(in Chinese)

[9]MERTENS T， KAUTZ J， VANREETH F. Exposure fusion: a simple and practical alternative to high dynamic range photography [J].ComputerGraphicsForum，2009， 28(1): 161-171.

[10]SHEN J B， ZHAO Y， YAN S C，etal.. Exposure fusion using boosting Laplacian pyramid [J].IEEET.Cybernetics， 2014， 44(9): 1579-1590.

[11]BRUCE N D B. ExpoBlend: information preserving exposure blending based on normalized log-domain entropy [J].Computers&Graphics， 2014， 39: 12-23.

[12]VANMALI A V， DESHMUKH S S， GADRE V M. Low complexity detail preserving multi-exposure image fusion for images with balanced exposure [C].IEEENationalConferenceonCommunications， 2013: 1-5.

[13]GALLO O， GELFAND N， CHEN W C，etal.. Artifact-free high dynamic range imaging [C].IEEEInternationalConferenceonComputationalPhotography(ICCP)， 2009: 1-7.

[14]LI S， KANG X. Fast multi-exposure image fusion with median filter and recursive filter [J].IEEETransactionsonConsumerElectronics， 2012， 58(2): 626-632.

[15]OH T H， LEE J Y， TAI Y W，etal.. Robust high dynamic range imaging by rank minimization [J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2015， 37(6): 1219-1232.

[16]LIU Y， WANG Z. Dense SIFT for ghost-free multi-exposure fusion [J].JournalofVisualCommunicationandImageRepresentation， 2015， 31(8): 208-224.

[17]HE K， SUN J， TANG X. Guided image filtering [J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2013， 35(6): 1397-1409.

[18]JINNO T， OKUDA M. Multiple exposure fusion for high dynamic range image acquisition [J].IEEETransactionsonImageProcessing， 2012， 21(1): 358-365.

[19]GASTAL E S L， OLIVEIRA M M. Domain transform for edge-aware image and video processing [J].ACMTransactionsonGraphics， 2011， 30(4): 1-11.

[20]金偉其， 賈曉婷， 高紹姝，等.彩色融合圖像的質(zhì)量主觀評價[J].光學(xué) 精密工程，2015，23(12):3465-3471.

JIN W Q， JIA X T， GAO SH SH，etal.. Subjective evaluation of quality for color fusion images [J].Opt.PrecisionEng.， 2015， 23(12): 3465-3471. (in Chinese)

李衛(wèi)中(1983-)，男，湖北孝感人，博士研究生，2005年、2008年于中國地質(zhì)大學(xué)分別獲得學(xué)士、碩士學(xué)位，現(xiàn)為武漢大學(xué)電子信息學(xué)院博士研究生，主要從事光學(xué)圖像及多媒體信息處理方面的研究。E-mail: weizhong@whu.edu.cn

易本順(1965-)，男，湖北武漢人，教授， 博士生導(dǎo)師，中國通信學(xué)會高級會員，1986年、1989年和1996年于華中理工大學(xué)分別獲得工學(xué)學(xué)士、碩士和博士學(xué)位，主要從事多媒體信息處理以及無線通信網(wǎng)絡(luò)方面的研究。E-mail: yibs@whu.edu.cn

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Detail preserving multi-exposure image fusion

LI Wei-zhong1，2， YI Ben-shun1，3*， QIU Kang1， PENG Hong1

(1.SchoolofElectronicInformation，WuhanUniversity，Wuhan430072，China；2.SchoolofPhysicsandElectronicInformationEngineering，HubeiEngineeringUniversity，Xiaogan432000，China；3.CollaborativeInnovationCenterforGeospatialTechnology，Wuhan430079，China)*Correspondingauthor，E-mail：yibs@whu.edu.cn

A detail preserving multi-exposure image fusion algorithm was proposed to address the problem of the loss of visual details and ghost artifacts in traditional multi-exposure images. Firstly， three image features， image details， exposure brightness and color information，were calculated. In which，the image details were obtained by using a guided filter， the each exposure intensity was weighted by a Gaussian function and the color information was measured by color saturation. Then， the difference maps and correlation coefficients were used to detect the motion objects in dynamic scenes and the focused weight map of static and dynamic scenes were calculated respectively by using feature indexes and detection results. In order to remove the noise effect， a recursive filter was used to correct the focused weight image， and the focused image was obtained by a pixel-by-pixel weighted sum of the input images. Ten kinds of multi-exposure image sequences were tested in the experiments and obtained results were compared with that of six kinds of traditional methods. The experimental results demonstrate that the proposed algorithm exhibits good visual appearance and preserves more details. It also effectively removes ghost artifacts in dynamic scenes. It concludes that the proposed algorithm is better than 6 classical methods and it produces desirable images in both static scenes and dynamic scenes.

multi-exposure image; image fusion; image detail; guided filter; ghost artifact

2016-05-04；

2016-07-02.

國家自然科學(xué)基金資助項目(No.61471272)

1004-924X(2016)09-2283-10

TP391.4

A

10.3788/OPE.20162409.2283